知识图谱入门知识（五）【转】秒懂词向量Word2Vec的本质

博文： 秒懂词向量Word2Vec的本质

什么是Word2Vec？

词性标注：是动词还是名词，样本（x，y）中，x是词语，y是它们的词性

f（x）->y

中的f（神经网络、SVM）只接受数值型输入，而NLP里的词语，必须转换为数值型形式

语言模型： 把 x 看做一个句子里的一个词语，y 是这个词语的上下文词语，那么这里的 f，便是 NLP 中经常出现的『语言模型』（language model），这个模型的目的，就是判断 (x,y) 这个样本，是否符合自然语言的法则，更通俗点说就是：词语x和词语y放在一起，是不是人话。

而Word2Vec就是集结了上面两个特征，既要将词语向量化，又能很好的保证上下文信息。 这里的f则是上面两个的集合。 但是我们的结果不是为了得到它是什么词性，它们符不符合语法，而是得到这之间的中间产物——模型参数，并用这些来得到输入x的向量化表示！

Skip-gram 和 CBOW 模型

上面我们提到了语言模型

• 如果是用一个词语作为输入，来预测它周围的上下文，那这个模型叫做『Skip-gram 模型』
• 而如果是拿一个词语的上下文作为输入，来预测这个词语本身，则是 『CBOW 模型』

但是作为输入的词语该怎么表示呢？ 肯定不是Word2Vec，而是one-hot encoder。

这个词向量的维度（与隐含层节点数一致）一般情况下要远远小于词语总数 V 的大小，所以 Word2vec 本质上是一种降维操作——把词语从 one-hot encoder 形式的表示降维到 Word2vec 形式的表示。

再具体的内容请看原博文，写的很细