词嵌入Word Embeding

Word Embeding

语言数字化的过程叫做Word Embedding，中文名称叫做‘词嵌入’。将文本通过词嵌入转化为词向量，即词的数学表达。
目前常见的有One-hot Representation，Word2Vec，Distributed Representation 等方式。

1 One-hot Representation

缺点在于无法表示单词间予以的相似度，且具有稀疏性，占用空间很大，且容易造成维数灾难。

2Distributed Representation

这个方法是为了克服one-hot而提出的，用以个稠密的向量表示词。相当与构建一个空间用于表达数据间的相对关系。可以通过LDA（统计共同出现的次数，贝叶斯概率模型）和word2vec（根据相似的上下文）等方法来构建。