轻松入门自然语言处理系列 专题5 代码实战——用Python从零实现SkipGram

前言

本文主要介绍了用Python从零实现SkipGram，包含Word2Vec模型的原理解析和模型实现。

一、Word2Vec原理解析

Word2Vec模型是最基本、最经典的词向量模型，主要有Skip-Gram和CBOW两种模型，从直观上理解，Skip-Gram是给定input word来预测上下文；而CBOW是给定上下文，来预测input word。如下：

以SkipGram为例，一个单词预测的神经网络结构如下：

可以看到，第一层是输入层，输入的是one-hot向量；

中间层是神经网络隐层；

第三层是输出层，输出每个词的概率值，一般最后一层是SoftMax。

Word2Vec模型中，中间层和输出层之间没有使用ReLU激活函数，为了对输出层简化、减少计算量，有2种方式：一种是建立霍夫曼树、进行霍夫曼编码，进行Hierarchical Softmax（层次Softmax）；另一种是负采样。

霍夫曼编码举例如下：