【word2vec】篇二：基于Hierarchical Softmax的 CBOW 模型和 Skip-gram 模型

系列文章：

1. 【word2vec】篇一：理解词向量、CBOW与Skip-Gram等知识
2. 【word2vec】篇二：基于Hierarchical Softmax的 CBOW 模型和 Skip-gram 模型
3. 【word2vec】篇三：基于Negative Sampling 的 CBOW 模型和 Skip-gram 模型

本篇是介绍基于Hierarchical Softmax的 CBOW 模型和 Skip-gram 模型。

CBOW 模型

基本结构

CBOW 模型是在已知当前词$w_t$的上下文$w_{t-2},w_{t-1},w_{t+1},w_{t+2}$的前提下预测当前词$w_t$。后面我们用$comtext(w)$来表示词w的上下文中的词，通常，我们取词 w 前后 2c 个单词来组成$comtext(w)$。下图给出了 CBOW 模型的网络结构：

它包括三层：输入层，投影层，输出层。

（1）输入层：包含$comtext(w)$中的$2c$个词向量$\mathbf{v}(context(w{)}_1),\mathbf{v}(context(w{)}_2),\dots ,\mathbf{v}(context(w{)}_{2c})\in {\mathbf{R}}^m$ ，每个词向量的长度是$m$。

（2）投影层：将输入层的$2c$个词向量累加求和，即${\mathbf{x}}_w={\sum }_{i=1}^{2c}\mathbf{v}(context(w{)}_i)$ 。

（3）输出层：输出层是用哈夫曼算法以各词在语料中出现的次数作为权值生成的一颗二叉树，其叶子结点是语料库中的所有词，叶子个数N=|D|，分别对应词典D中的词。

神经网络语言模型(NNLM)中大部分计算集中在隐藏层和输出层之间的矩阵向量运算，以及输出层上的softmax归一化运算，CBOW模型对此进行了改进。与传统的神经网络语言模型相比：

1. NNLM则是简单的将输入的向量进行拼接，而CBOW 模型将上下文的词累加求和作为输入。
2. NNLM是线性结构，而CBOW 是树形结构。
3. NNLM具有隐藏层，而CBOW没有隐藏层。

目标函数

假设对于给定的文本，“我”、“喜欢”、“观看”、“巴西”、“足球”、“世界杯”这六个词出现的次数分别为15, 8, 6, 5,3, 1。于是可以用这些语料构建霍夫曼树，并将其作为CBOW模型的输出层。如下图所示：

注意：与常规的霍夫曼树不同，左子树用1编码，右子树用0编码。

接下来，我们用 $p^w$ 表示从根结点出发到达$w$对应叶子结点的路径，$l^w$ 表示这个路径中包含结点的个数，$p_l^w$ 表示路径 $p^w$中的第$l$个结点，$d_j^w$ 表示路径$p^w$中第$j$个结点对应的编码（0或1），${\theta }_j^w$ 表示路径$p^w$中第$j$个非叶子结点对应向量。

我们的目标是利用输入向量$X_w$ 和霍夫曼树来定义函数$p(w|context(w))$。

以图中的词$w="足球"$为例，从霍夫曼树的根结点出发到“足球”，中间经历了4个分支，每一次分支，都可以看成进行了一次二分类。那么从二分类的角度来看，对于每个非叶子结点，就需要为其左右孩子指定类别。我们规定：编码为1的结点定义为负类，编码为0的结点定义为正类。也就是说，将一个结点进行二分类，分到左边是负类，分到右边是正类。所以有：
$$Label(p_i^w)=1-d_i^w,i=1,2,\dots ,l^w$$
我们用逻辑斯蒂回归进行二分类，一个结点被分为正类的概率是：
$$\sigma ({\mathbf{x}}_w^T\theta )=\frac{1}{1+e^{-{\mathbf{x}}_w^T\theta }}$$
被分成负类的概率为：
$$1-\sigma ({\mathbf{x}}_w^T\theta )$$
这里的$\theta$就是非叶子节点对应的向量，是个待定参数。

所以，从霍夫曼树的根结点出发到“足球”，中间经历了4个二分类，每个分类的结果如下：

第一次：$p(d_2^w|{\mathbf{x}}_w,{\theta }_1^w)=1-\sigma ({\mathbf{x}}_w^T{\theta }_1^w)$

第二次：$p(d_3^w|{\mathbf{x}}_w,{\theta }_2^w)=\sigma ({\mathbf{x}}_w^T{\theta }_2^w)$

第三次：$p(d_4^w|{\mathbf{x}}_w,{\theta }_3^w)=\sigma ({\mathbf{x}}_w^T{\theta }_3^w)$

第四次：$p(d_5^w|{\mathbf{x}}_w,{\theta }_4^w)=1-\sigma ({\mathbf{x}}_w^T{\theta }_4^w)$

这四个概率的乘积就是$p(足球|context(足球))$，即：
$$p(足球|context(足球))=$$