本文介绍了子词模型在自然语言处理中的重要性，包括Byte Pair Encoding、Word piece model和Sentence piece model。这些方法解决了语言的开放词汇表问题，能够处理形态变化、音译和非正式表达。BERT和Google NWT等模型采用了这些技术。Subword-level language model通过多语言语料训练，能捕捉词汇的形态特征并减少未登录词问题。最后，Hybrid NWT结合word-level和character-level的优点，降低翻译错误。
文章目录
说明：本博文用于记录学习斯坦福CS224N的相关笔记，其中内容，截图来自相应课件和视频。
一、语言学知识（linguistics）
语音学与音韵学
- 语音学（Phonetics）：其研究对象是声波（sound stream）。
- 音韵学（Phonology）：音韵学假设人类语音中存在一些基本单位，例如音素，以及其它特征。
形态学（Morphology）
- 词语形态学将词素（morphemes）视为最小的语义单位。
- 不同语言的书写形式具有很大差异，例如中文词语之间没有空格，而英文词语之间会通过空格隔开。
- 现实生活中，存在数量巨大的开放单词表，包括词语形态的变换（Rich morphology）、音译现象（Transliteration），以及非正式表达（informal spelling），例如缩写，网络用语等。
人类语言书写系统
因为人类书写系统多种多样，同时词语存在形态变换，音译，缩写以及网络用
最低0.47元/天 解锁文章
715
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
