Word Embeding
语言数字化的过程叫做Word Embedding,中文名称叫做‘词嵌入’。将文本通过词嵌入转化为词向量,即词的数学表达。
目前常见的有One-hot Representation,Word2Vec,Distributed Representation 等方式。
1 One-hot Representation
缺点在于无法表示单词间予以的相似度,且具有稀疏性,占用空间很大,且容易造成维数灾难。
2Distributed Representation
这个方法是为了克服one-hot而提出的,用以个稠密的向量表示词。相当与构建一个空间用于表达数据间的相对关系。可以通过LDA(统计共同出现的次数,贝叶斯概率模型)和word2vec(根据相似的上下文)等方法来构建。