第5章文本处理方法——5.5 词向量与word2vec

1.词向量，word embedding

       又叫词嵌入，是自然语言处理中的一组语言建模和特征学习技术的统称，其中来自词汇表的单词或短语被映射到实数的向量。

2.Word2vec

      是为一群用来产生词向量的相关模型，这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。

（1）CBOW模型由输入层、映射层、输出层共同构成

（2）CBOW所构建的模型结构实际上是一个二叉树结构

（3）这种二叉树结构应用到Word2vec中被称之为Hierarchical Sofmax

（1）Skip-Gram模型实际上和CBOW模型正好是相反的

（2）Skip-Gram模型与CBOW一样，也是由输入层、映射层和输出层构成

（3）Skip-Gram所构建的模型结构实际上也是一个二叉树结构。