神经翻译笔记3. 神经网络语言模型与词向量

神经翻译笔记3. 神经网络语言模型与词向量

本文主要参考了如下教程

• Koehn2017 : 第2、3节，第4节前半部分
• Neubig2017 : 第5章
• StanfordCS224n : 第2、3、4讲
• Goldberg NNMNLP : 第3、4、5、8、9、10、11章

其中主要会以[Neubig2017]和[StanfordCS224n]的内容为主

神经网络

关于神经网络的一些基本细节，例如基本概念、反向传播的思想等等，在博客的其它文章里（如林轩田老师的机器学习技法、Hinton的Coursera课程）有过介绍，这里就不赘述了。这里想就着斯坦福大学CS224n第四讲的内容从矩阵的层面上给出反向传播梯度的计算方法

一个示例结构

上图给出了一个示例神经网络，各层参数与输入、输出及其它记号如下

• 输入向量$\mathbf{x}\in {\mathbb{R}}^{3\times 1}$
• 输入层到隐藏层的权重$\mathbf{W}\in {\mathbb{R}}^{2\times 3}$，同时还包括一个偏置向量$\mathbf{b}\in {\mathbb{R}}^{2\times 1}$
• 隐藏层向量在激活前是$\mathbf{z}\in {\mathbb{R}}^{2\times 1}$，激活函数是$f$，向量激活后为$\mathbf{a}\in {\mathbb{R}}^{2\times 1}$
• 隐藏层到输出层的权重$\mathbf{U}\in {\mathbb{R}}^{2\times 1}$ （按照约定的记法，向量用小写粗体，矩阵用大写粗体，这里应该写为$\mathbf{u}$。不过为了与原课件对应，这里没有这样做）
• 神经网络的输出结果为一个标量 $s$

按照如上约定， $s$ 的计算过程向量化表示如下
$$\begin{array}{rl}s& ={\mathbf{U}}^{\mathsf{T}}\mathbf{a}\\ & ={\mathbf{U}}^{\mathsf{T}}f(\mathbf{z})\\ & ={\mathbf{U}}^{\mathsf{T}}f(\mathbf{W}\mathbf{x}+\mathbf{b})\end{array}$$
或者分变量写出，成为如下形式
$$\begin{array}{rl}s& ={\mathbf{U}}^{\mathsf{T}}\mathbf{a}\\ \mathbf{a}& =f(\mathbf{z})\\ \mathbf{z}& =\mathbf{W}\mathbf{x}+\mathbf{b}\end{array}$$

按照梯度下降的原理，训练模型时需要得到损失函数$J$对每个参数的梯度。例如，对于参数$\mathbf{W}$，需要计算$\frac{\partial J}{\partial \mathbf{W}}$。根据反向传播算法和导数的链式法则，有
$$\frac{\partial J}{\partial \mathbf{W}}=\frac{\partial J}{\partial s}\cdot \frac{\partial s}{\partial \mathbf{W}}$$
其中，第一项$\frac{\partial J}{\partial s}$如何计算应该视具体的损失函数计算方法而定，与参数本身无关。因此对任意参数，只需要关注网络输出$s$对该参数的偏导即可

从矩阵元素看如何计算梯度

（这一部分讲得比较详细但是也很繁琐，不感兴趣的可以跳过）

要计算$\frac{\partial s}{\partial \mathbf{W}}$，可以首先考虑如何计算$\frac{\partial s}{\partial W_{ij}}$ 。由$s$ 的计算方法，有
$$\frac{\partial s}{\partial W_{ij}}=\frac{\partial }{\partial W_{ij}}{\mathbf{U}}^{\mathsf{T}}\mathbf{a}$$
由前图，每个${\mathbf{W}}_{i\cdot }$只与$a_i$ 相关，$a_i$又只与$U_i{a}_i$相关，因此
$$\frac{\partial }{\partial W_{ij}}{\mathbf{U}}^{\mathsf{T}}\mathbf{a}=\frac{\partial }{\partial W_{ij}}{U}_i{a}_i$$

由于$U_i$与$W_{ij}$无关，因此可以提出来。代入其它变量定义，并将$f$的导数记作$f^{\prime }$（因为可选的激活函数有很多种），可以得到
$$\begin{array}{rl}\frac{\partial }{\partial W_{ij}}{U}_i{a}_i& =U_i\frac{\partial }{\partial W_{ij}}{a}_i\\ & =U_i\frac{\partial a_i}{\partial z_i}\frac{\partial z_i}{\partial W_{ij}}\\ & =U_i\frac{\partial f(z_i)}{\partial z_i}\frac{\partial z_i}{\partial W_{ij}}\\ & =U_i{f}^{\prime }(z_i)\frac{\partial z_i}{\partial W_{ij}}\\ & =U_i{f}^{\prime }(z_i)\frac{\partial ({\mathbf{W}}_{i\cdot }\mathbf{x}+b_i)}{\partial W_{ij}}\\ & =U_i{f}^{\prime }(z_i)\frac{\partial }{\partial W_{ij}}\sum _k{W}_{ik}{x}_k\\ & =U_i{f}^{\prime }(z_i)x_j\end{array}$$
如果将$U_i{f}^{\prime }(z_i)$看做一个整体，记作${\delta }_i$，那么有
$$\frac{\partial s}{\partial W_{ij}}={\delta }_i{x}_j$$
由于标量$y$对矩阵$\mathbf{X}\in {\mathbb{R}}^{m\times n}$的求导法则为
$$\frac{\partial y}{\partial \mathbf{X}}=\left[\begin{array}{ccc}\frac{\partial y}{\partial X_{11}}& \cdots & \frac{\partial y}{\partial X_{1n}}\\ ⋮& \ddots & ⋮\\ \frac{\partial y}{\partial X_{m1}}& \cdots & \frac{\partial y}{\partial X_{mn}}\end{array}\right]$$
因此
$$\begin{array}{rl}\frac{\partial s}{\partial \mathbf{W}}& =[\begin{array}{c}\partial W_{11}\end{array}\\ & \\ & \end{array}$$