神经翻译笔记3扩展e第1部分. Word2Vec原理及若干关于词向量的扩展知识

神经翻译笔记3扩展e第1部分. Word2Vec原理及若干关于词向量的扩展知识

本文共分为三节，由若干文章拼接而成。第一节具体推导word2vec参数的更新规则，第二节介绍在词表比较大时对softmax做近似的方法，第三部分介绍如何生成好的词向量

Word2vec的参数学习

本节内容完全来自于[Rong2014]

连续词袋模型（CBOW）

上下文仅有一个单词的情况

上下文只有一个单词时，网络做的事情其实类似于二元语法模型。假设词表大小为$V$，隐藏层大小为$N$，输入层到隐藏层及隐藏层到输出层都是全连接，输入为独热编码向量，那么网络的示意图如下图所示

从图中可知，输入层和隐藏层之间的权重可以使用$V\times N$的矩阵$\mathbf{W}$表示。假设输入的语境单词为词表中的第$k$个单词，则输入向量$\mathbf{x}$满足$x_k=1$且$\forall k^{\prime }̸=k\to x_{k^{\prime }}=0$，因此有
$$\mathbf{h}={\mathbf{W}}^{\mathsf{T}}\mathbf{x}={\mathbf{w}}_{(k,\cdot )}^{\mathsf{T}}:={\mathbf{v}}_{w_I}^{\mathsf{T}}$$
即$\mathbf{W}$的第k行行向量实际上就是词表中第k个单词词向量的转置，记输入单词词向量为${\mathbf{v}}_{w_I}$

假设最后得到的得分向量为$\mathbf{u}$，则从隐藏层到输出层有
$$\mathbf{u}={\mathbf{W}}^{\prime \mathsf{T}}\mathbf{h}\text{\hspace{1em}(1)}$$
其中$\mathbf{u}$的第$j$行元素$u_j$为
$$u_j={\mathbf{w}}_{(\cdot ,j)}^{\prime \mathsf{T}}\mathbf{h}\text{\hspace{1em}(2)}$$
这里${\mathbf{w}}_{(\cdot ,j)}^{\prime }$是${\mathbf{W}}^{\prime }$的第$j$列。记${\mathbf{w}}_{(\cdot ,j)}^{\prime }$为${\mathbf{v}}_{w_O}^{\prime }$

得到$\mathbf{u}$以后，可以使用softmax来得到单词的后验分布：给定上文单词为$w_I$的情况下，出现单词$w_O$的概率为
$$P(w_O|w_I)=y_j=\frac{\exp (u_j)}{{\sum }_{j^{\prime }=1}^V\exp (u_{j^{\prime }})}\text{\hspace{1em}(3)}$$
将式(1)和(2)代入(3)可得
$$P(w_O|w_I)=\frac{\exp \left({\mathbf{v}}_{w_O}^{\prime \mathsf{T}}{\mathbf{v}}_{w_I}\right)}{{\sum }_{j^{\prime }=1}^V\exp \left({\mathbf{v}}_{w_j^{\prime }}^{\prime \mathsf{T}}{\mathbf{v}}_{w_I}\right)}\text{\hspace{1em}(4)}$$

可见对同一个单词$w$来说，会有两个嵌入表示${\mathbf{v}}_w$和${\mathbf{v}}_w^{\prime }$，前者是$\mathbf{W}$的第$i$行行向量，后者是${\mathbf{W}}^{\prime }$的第$i$列列向量。在后续的分析中，称前者为单词$w$的输入向量，后者为单词$w$的输出向量

隐藏层到输出层权重的更新

假设给定单词$w_k$，期望输出是单词$w_{j^{\ast }}$，那么模型优化的目标是要最大化正确单词对应的概率$y_{j^{\ast }}$，有
$$\begin{array}{rl}{\mathrm{argmax}}_{{\mathbf{W}}^{\prime }}p(w_O|w_I)& ={\mathrm{argmax}}_{{\mathbf{W}}^{\prime }}{y}_{j^{\ast }}\\ & ={\mathrm{argmax}}_{{\mathbf{W}}^{\prime }}\log y_{j^{\ast }}\\ & ={\mathrm{argmax}}_{{\mathbf{W}}^{\prime }}\left(u_{j^{\ast }}-\log \sum _{j^{\prime }=1}^V\exp (u_{j^{\prime }})\right)\end{array}$$
记$E=-\log p(w_O|w_I)$ 为学习的目标函数，那么学习的目的就是最小化$E$。可知
$$\frac{\partial E}{\partial u_j}=y_j-t_j:=e_j$$
其中$t_j=1(j=j^{\ast })$。或者可以写为
$$\frac{\partial E}{\partial u_j}=\{\begin{array}{ll}{y}_j-1& j=j^{\ast }\\ y_j& \mathrm{e}\mathrm{l}\mathrm{s}\mathrm{e}\mathrm{w}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{e}\end{array}$$
接着可以求出$E$对${\mathbf{W}}^{\prime }$中每个元素$w_{ij}^{\prime }$的偏导数
$$\frac{\partial E}{\partial w_{ij}^{\prime }}=\frac{\partial E}{\partial u_j}\cdot \frac{\partial u_j}{\partial w_{ij}^{\prime }}=e_j\cdot h_i$$
因此梯度下降的更新方法为
$$w_{ij}^{\prime (\mathrm{n}\mathrm{e}\mathrm{w})}=w_{ij}^{\prime (\mathrm{o}\mathrm{l}\mathrm{d})}-\eta \cdot e_j\cdot h_i$$
向量化的形式为
$${\mathbf{v}}_{w_j}^{\prime (\mathrm{n}\mathrm{e}\mathrm{w})}={\mathbf{v}}_{w_j}^{\prime (\mathrm{o}\mathrm{l}\mathrm{d})}-\eta \cdot e_j\cdot \mathbf{h}$$
这意味着，当$y_j>t_j$时，$e_j$为正值，${\mathbf{v}}_{w_j}^{\prime }$会变小。由于$t_j$只能为0或1，因此这说明给定输入单词为$w_I$时，对不是期望单词序号$j^{\ast }$的$j$，$w_j$的输出向量会变小，反之相反

输入层到隐藏层权重的更新

首先计算目标函数$E$对隐藏层每个输出元素$h_i$的偏导数。由于隐藏层到输出层是全连接的，因此$h_i$对每个$u_j$都有贡献，使用全微分公式有
$$\frac{\partial E}{\partial h_i}=\sum _{j=1}^V\frac{\partial E}{\partial u_j}\cdot \frac{\partial u_j}{\partial h_i}=\sum _{j=1}^V{e}_j\cdot w_{ij}^{\prime }:=e_i^{\prime }$$
其中$e_i^{\prime }$是$N$维向量${\mathbf{e}}^{\prime }$的第$i$个元素。由于输入层到隐藏层也是一个全连接，因此有
h i = ∑ k = 1 V x k ⋅ w k i