文章目录
前言
本文主要介绍了用Python从零实现SkipGram,包含Word2Vec模型的原理解析和模型实现。
一、Word2Vec原理解析
Word2Vec模型是最基本、最经典的词向量模型,主要有Skip-Gram和CBOW两种模型,从直观上理解,Skip-Gram是给定input word来预测上下文;而CBOW是给定上下文,来预测input word。如下:
以SkipGram为例,一个单词预测的神经网络结构如下:
可以看到,第一层是输入层,输入的是one-hot向量;
中间层是神经网络隐层;
第三层是输出层,输出每个词的概率值,一般最后一层是SoftMax。
Word2Vec模型中,中间层和输出层之间没有使