斯坦福CS224N学习笔记-8 RNN和语言模型

课程内容概述

• 传统语言模型
• 循环神经网络RNN
• RNN语言模型
• 训练过程中的一些问题和解决方法
• 双向RNN和深层的RNN
• 语言模型的一些评估指标

语言模型

语言模型就是要预测由一些单词组成的一个序列的概率，我们希望通过语言模型使得那些更加接近人类自然语言的序列能够得到更高的预测概率。

在机器翻译领域，由相同的词组成的不同语序的两句话对应的概率可能不同。比如对于组成词相同的两句话，“the cat is small"的概率一定要比"small is the cat"要高，因为前者才是通顺的一句话。另一种情况，对于同一语义的两句话来说，可能句子中的一些词的不同也会对应不同的概率。比如对于“放学后走回家”这句话，可能对应两个翻译"walking home after school"和"walking house after school”，那么前者在英文中就更加自然，因此也应该对应更高的概率。

传统语言模型

马尔可夫假设

在一个句子中，每个词都取决于之前的词，那么一个句子对应的概率可以表示为：
$$p(w_1,w_2,w_3,...,w_m)=\prod _{i=1}^{m}p(w_i|w_{i-1},...,w_1)\approx \prod _{i=1}^{m}p(w_i|w_{i-1},...,w_{i-n+1})$$
为了简化问题，可以只考虑当前词前面一个包含n个词的窗口，也就是只考虑前面的n个词（n-gram model）。

这个假设并不正确，但这是传统的语言模型中必不可少的一部分。

n-gram模型

n-gram正是应用马尔可夫假设的一个模型，它是一种基于统计的模型，所以我们通过统计词频来计算相应的条件概率。比如$$p(w_2|w_1)=\frac{count(w_1,w_2)}{count(w_1)}p(w_3|w_1,w_2)=\frac{count(w_1,w_2,w_3)}{count(w_1,w_2)}$$
根据n-gram模型，我们可以得到unigram（一元模型）、bigram（二元模型）、trigram（三元模型），理论上我们考虑的n越大，模型的效果应该越好，但是n越大，计算的时间代价和内存需求就越高，因此实际使用还是以上面三种模型为主。

神经网络语言模型

循环神经网络RNN

RNN的优点：

• 每步计算所用的权重是同一个
• 能够考虑到之前所有出现过的词
• 内存需求只和次的数量有关

RNN的每一步计算过程如下所示：
第一步开始前的前序向量 $h_0$ 可以是一个初始化的向量。

RNN的训练

训练过程

每个时刻输出的 $y$ 都是词汇的概率分布，所以损失可以用交叉熵函数来计算。

最后整个序列的整体误差 $J$ 是每个时刻误差 $J_t$ 之和。

整个序列总的误差的偏导是各个时间步长的偏导之和，那么对于某一时间 $t$ 的偏导如下图所示的链式求导法所得。

梯度的链式求导过程：
隐藏层随时序前向传播的公式：$h_t=Wf(h_{t-1})+W^{(hx)}{x}_{[t]}$
由于RNN的隐藏层的计算过程中是参数共享的，所以 $h_t$ 和 $h_{t-1}$ 以及之后的 $h_k$ 中都包含同一个参数矩阵 $W$，那么根据复合函数的链式求导可得：
$$\begin{array}{rl}\frac{\partial h_t}{\partial W}& =\frac{{\partial }^{+}{h}_t}{\partial W}+\frac{\partial h_t}{\partial f(h_{t-1})}\frac{\partial f(h_{t-1})}{\partial h_{t-1}}\frac{\partial h_{t-1}}{\partial W}\\ & =\frac{{\partial }^{+}{h}_t}{\partial W}+\frac{\partial h_t}{\partial f(h_{t-1})}\frac{\partial f(h_{t-1})}{\partial h_{t-1}}[f(h_{t-2})+\frac{\partial h_{t-1}}{\partial f(h_{t-2})}\frac{\partial f(h_{t-2})}{\partial h_{t-2}}\frac{\partial h_{t-2}}{\partial W}]\\ & =\frac{{\partial }^{+}{h}_t}{\partial W}+\frac{\partial h_t}{\partial h_{t-1}}\frac{{\partial }^{+}{h}_{t-1}}{\partial W}+\frac{\partial h_t}{\partial h_{t-2}}\frac{\partial h_{t-2}}{\partial W}\\ & =\frac{\partial h_t}{\partial h_t}\frac{{\partial }^{+}{h}_t}{\partial W}+\frac{\partial h_t}{\partial h_{t-1}}\frac{{\partial }^{+}{h}_{t-1}}{\partial W}+\frac{\partial h_t}{\partial h_{t-2}}\frac{{\partial }^{+}{h}_{t-2}}{\partial W}+...+\frac{\partial h_t}{\partial h_1}\frac{{\partial }^{+}{h}_1}{\partial W}\\ & =\sum _{k=1}^t\frac{\partial h_t}{\partial h_k}\frac{{\partial }^{+}{h}_k}{\partial W}\end{array}$$其中 $\frac{{\partial }^{+}{h}_t}{\partial W}$ 是指 $h_t$ 直接对 $W$ 求导的结果，也就是 $f(h_{t-1})$。

所以最后 $t$ 时刻的误差 $E_t$ 对 $W$ 的偏导为：
$$\frac{\partial E_t}{\partial W}=\sum _{k=1}^t\frac{\partial E_t}{\partial y_t}\frac{\partial y_t}{\partial h_t}\frac{\partial h_t}{\partial h_k}\frac{{\partial }^{+}{h}_k}{\partial W}$$
而整个计算过程中的误差又是从始至终每个时刻误差的和，所以最后 $W$ 总的梯度为：
$$\frac{\partial E}{\partial W}=\sum _{t=1}^T\sum _{k=1}^t\frac{\partial E_t}{\partial y_t}\frac{\partial y_t}{\partial h_t}\frac{\partial h_t}{\partial h_k}\frac{{\partial }^{+}{h}_k}{\partial W}$$
这种将整个序列完全计算一遍然后再一次性的进行反向传播的方法叫做BPTT（BackwardPropagation Through Time）。

RNN训练过程当中的一些问题

1、梯度消失与梯度爆炸

梯度消失和梯度爆炸是RNN训练过程中的一个常见的问题，这种问题可能会导致RNN无法捕捉长距离的信息。
从前面的公式中可以看出
$$\frac{\partial h_t}{\partial h_{t-1}}=W^T{f}^{{}^{\prime }}(h_{t-1})$$那么
$$\frac{\partial h_t}{\partial h_k}=\prod _{j=k+1}^t{W}^T{f}^{{}^{\prime }}(h_{j-1})$$可以看到在这个计算过程中会产生参数的多次连乘。
由于这种链式求导过程中过多的求导次数累乘，导数的值可能会随参数初始化的值变得过大或者过小，这样前面距离较远的一些词对序列后面的词的影响就无法正常捕捉。

避免梯度爆炸的方法：梯度裁剪

Thomas Mikolov提出，为梯度设定一个上限值，当梯度增大到一定程度时，就让梯度限定在这个较小的上限值上。这种方法听上去感觉缺少数学依据，但是在实际应用中效果很好。

如图所示为RNN训练过程中的误差平面，可以看到如果不加限制，当参数撞到梯度爆炸的“曲率墙”时，参数的值会迅速偏离到一个很远的区域（实线），而如果加以限制，就会一定程度上缓和这种现象（虚线）。

当然，这种方法不适用于解决梯度消失，因为我们可以通过设定梯度的上限来避免参数变化太大，但不能设定梯度的下限，否则无法在训练中达到收敛，与梯度下降的思想相违背。

避免梯度消失的方法：初始化+ReLU

除了使用RNN的改良版模型LSTM、GRU，还有一种比较简单的方法，就是调整参数的初始化值。
在初始化阶段，可以将两个参数矩阵 $W^{(hh)}$ 和 $W^{(hx)}$ 都设为单位矩阵，并都在前面乘 $\frac{1}{2}$，也就是两个矩阵都是 $diag(\frac{1}{2},\frac{1}{2},...,\frac{1}{2})$（假设两个矩阵有相同的尺寸）。除此之外，隐藏层之间的激活函数使用ReLU。那么在实际的运算中，当前时刻隐藏层的状态等于上一时刻隐藏层状态的一半加上此刻输入信息的一半。即：
$$h_t=\frac{1}{2}{h}_{t-1}+\frac{1}{2}{x}_t$$
这种方法的思想就是在初始化时不去随意取值，而是简单的在第一趟时做平均，然后再进行误差的反向传播。
实验结果也表明，这种方法在MNIST数据集上的分类表现远好于普通的RNN模型。

2、Softmax过程中的参数数量太大且计算缓慢

在每次的预测过程中，我们都需要将隐藏层的向量乘上一个参数矩阵 $W^{(S)}$，然后将得到的向量用 $softmax$ 函数计算概率分布。如果隐藏层的向量维度是1000维，而词汇总数为100000个，那么这个参数矩阵 $W^{(S)}$ 的维度就是 ${\mathbb{R}}^{100000\times 1000}$，参数矩阵的维度巨大，而且每一步的计算都要用隐藏层状态乘上这个参数矩阵，所以在计算中会导致速度很慢。

一个解决方法是基于类的词语预测。思路就是将要预测的词先分为几个不同的类，在预测时先预测这个词属于哪一类，在从这个类中去预测对应的词。这样分两步去预测就可以大大减少参数的数量。在这种方法中，类别数越多，最后预测的困惑度(Perplexity)就越低，但每次迭代所需的时间也越多。

另一个经常用到的方法就是BPTT（BackwardPropagation Through Time）。也就是无须每个时刻计算得到结果之后就进行反向传播，而是每次计算时累加要更新的梯度，在整个序列计算结束后再进行一次反向传播。

双向RNN

常规的RNN模型在预测下一个词时只能依据之前出现过的词，无法利用之后将要出现的词，而双向的RNN模型则能够处理这个问题。

这个模型分别从两个方向做相同的时序传播计算，有两个分别代表两个传播方向的不同的隐藏层值。
不过与普通的单向RNN相同，双向RNN也会存在梯度消失和梯度爆炸的问题。

除了这种简单的单层RNN，RNN也可以在深度上进行扩充，搭建一个更深层次的网络。下图所示就是一个多层的双向RNN。

其他评估指标

准确率 $percision$： $$percision=\frac{t_p}{t_p+f_p}$$
召回率 $recall$： $$recall=\frac{t_p}{t_p+f_n}$$
F1值：$$F1=2\cdot \frac{percision\cdot recall}{percision+recall}$$
其中 $t_p$ 表示样本属于正类并且也正确预测为正类的数目， $f_p$ 表示样本属于负类但预测成正类的数目， $f_n$ 表示样本属于正类但预测成负类的数目。
总之，准确率表示预测为正类的样本中预测对的比例，召回率表示实际的正类样本中正确预测为正类的比例，F1值则是准确率和召回率的调和平均值。 这种评估指标比较适用于样本分类不均衡的情况，比如某类样本很多但某类样本很少。