文本表示方法

文本表示方法

图片来源：http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML19.html

一、1-of-N Encoding

也称为one-hot Encoding，即独热编码。

局限性：稀疏性，N个单词就需要N维的向量；
无法表示单词之间的关系。

二、Word Class

单词归类法。

局限性：人为机械地划分类别，很难得到设定类别之外单词之间的关系。

三、Word Embedding

词嵌入法。
用向量表示单词，向量的每个维度表示某个属性。语义相近的单词在向量空间中的位置也可能会比较接近。
在机器学习中，Word Embedding可以理解为某种特征提取的方法。目前比较常用的方法是根据单词的上下文关系来训练。

Word Embedding与单词并不是一一对应关系，Word Embedding表示语义，而同一个单词可以有多个语义，也就是说一个单词可以对应多个Word Embedding；反之，同一个Word Embedding也可以对应多个单词，因为存在同义词，同一个语义可能有多个单词可以表示。

参考资料

李宏毅-ELMO, BERT, GPT讲解：https://www.bilibili.com/video/BV17441137fa