谈谈谷歌word2vec的原理

word2vec

在NLP领域中，为了能表示人类的语言符号，一般会把这些符号转成一种数学向量形式以方便处理，我们把语言单词嵌入到向量空间中就叫词嵌入（word embedding）。谷歌开源的word2vec则是这么一种词嵌入工具，它能生成词向量，通过词向量可以很好地度量词与词之间的相似性。word2vec采用的模型包含了连续词袋模型（CBOW）和Skip-Gram模型。通过它可以在大数据量上进行高效训练从而得到词向量。

n-gram语言模型

在讨论词向量时先看NLP中很重要的统计语言模型，简单来说就是计算某个句子出现的概率，比如“我今天上班迟到了”这句话在整个语言下的概率，一般我们会通过一个大的语料库来进行统计。

用数学语言来描述，假设我们的句子为