Word2Vec学习笔记

1.Word2Vec是什么？

Word2Vec是用一个浅层神经网络将稀疏的词向量映射成为稠密向量的过程。

２.Word2Vec注重的不是模型，而是模型的参数。

word2vec的思路与自编码器(auto-encoder)的思路比较相似，都是先基于训练数据构建一个神经网络。当这个网络训练好以后，我们并不会利用这个训练好的网络处理新任务，我们真正需要的是这个模型通过训练数据所学得的参数。

３.Word2Vec的CBOW模型和Skip-gram模型

３.1 CBOW(Continuous Bag-of-Words Model)模型

ＣＢＯＷ模型是根据中心词的前C个或者后C个连续背景词来计算中心词出现的概率。

其具体流程为：

词向量最简单的方式是1-of-N的one-hot方式，在上图中：