1.Word2Vec是什么?
Word2Vec是用一个浅层神经网络将稀疏的词向量映射成为稠密向量的过程。
2.Word2Vec注重的不是模型,而是模型的参数。
word2vec的思路与自编码器(auto-encoder)的思路比较相似,都是先基于训练数据构建一个神经网络。当这个网络训练好以后,我们并不会利用这个训练好的网络处理新任务,我们真正需要的是这个模型通过训练数据所学得的参数。
3.Word2Vec的CBOW模型和Skip-gram模型
3.1 CBOW(Continuous Bag-of-Words Model)模型
CBOW模型是根据中心词的前C个或者后C个连续背景词来计算中心词出现的概率。
其具体流程为:
词向量最简单的方式是1-of-N的one-hot方式,在上图中:
(1)Input layer输入层:是上下文单词的one hot。假设单词向量空间的维度为V,即整个词库语料大小为V,上下文单词窗口的大小为C。