【周志华机器学习】五、神经网络之RNN

参考资料

1. LeeML-Notes
2. ML-NLP
3. 循环神经网络

本博客根据参考资料所做的笔记，主要用于学习，非技术类博客，因此存在大量复制粘贴，请见谅。

1. 概念

RNN是在自然语言处理领域中最先被用起来的，比如，RNN可以为语言模型来建模。那么，什么是语言模型呢？

1.1 语言模型

语言模型：给定一个一句话前面的部分，预测接下来最有可能的一个词是什么。
举个例子，

我昨天上课开小差被老师发现了，老师批评了____。

我们给电脑展示了这句话前面这些词，然后，让电脑写下接下来的一个词。在这个例子中，接下来的这个词最有可能是『我』，而不太可能是『小明』，甚至是『吃饭』。

语言模型是对一种语言的特征进行建模，它有很多很多用处。比如在**语音转文本(STT)**的应用中，声学模型输出的结果，往往是若干个可能的候选词，这时候就需要语言模型来从这些候选词中选择一个最可能的。当然，它同样也可以用在图像到文本的识别中(OCR)。

1.2 RNN

循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）

下图是一个简单的循环神经网络如，它由输入层、一个隐藏层和一个输出层组成：

如果把上面有W的那个带箭头的圈去掉，它就变成了最普通的全连接神经网络。x是一个向量，它表示输入层的值（这里面没有画出来表示神经元节点的圆圈）；s是一个向量，它表示隐藏层的值（这里隐藏层面画了一个节点，你也可以想象这一层其实是多个节点，节点数与向量s的维度相同）；U是输入层到隐藏层的权重矩阵；o也是一个向量，它表示输出层的值；V是隐藏层到输出层的权重矩阵。那么，现在我们来看看W是什么。循环神经网络的隐藏层的值s不仅仅取决于当前这次的输入x，还取决于上一次隐藏层的值s。权重矩阵 W就是隐藏层上一次的值作为这一次的输入的权重。

如果我们把上面的图展开，循环神经网络也可以画成下面这个样子：

这个网络在t时刻接收到输入$x_t$之后，隐藏层的值是$s_t$，输出值是$o_t$。关键一点是，$s_t$的值不仅仅取决于$x_t$，还取决于$s_{t-1}$。我们可以用下面的公式来表示循环神经网络的计算方法
：

式1是输出层的计算公式，输出层是一个全连接层，也就是它的每个节点都和隐藏层的每个节点相连。V是输出层的权重矩阵，g是激活函数。式2是隐藏层的计算公式，它是循环层。U是输入x的权重矩阵，W是上一次的值$s_t$作为这一次的输入的权重矩阵，f是激活函数。

从上面的公式我们可以看出，循环层和全连接层的区别就是循环层多了一个权重矩阵 W。

可以发现，循环神经网络也是一种递归神经网络。

如果把式2反复代入式1，即：

从上面可以看出，循环神经网络的输出值，是受前面历次输入值$x_t$、$x_{t-1}$、$x_{t-2}$、$x_{t-3}$影响的，这就是为什么循环神经网络可以往前看任意多个输入值的原因。

1.3 双向RNN

之前介绍的循环神经⽹络模型都是假设当前时间步是由前⾯的较早时间步的序列决定的，因此它 们都将信息通过隐藏状态从前往后传递。有时候，当前时间步也可能由后⾯时间步决定。例如， 当我们写下⼀个句⼦时，可能会根据句⼦后⾯的词来修改句⼦前⾯的⽤词。双向循环神经⽹络通过增加从后往前传递信息的隐藏层来更灵活地处理这类信息。下图演⽰了⼀个含单隐藏层的双向循环神经⽹络的架构。

我们先考虑上图中，$y_2$的计算.

从上图可以看出，双向卷积神经网络的隐藏层要保存两个值，一个A参与正向计算，另一个值A’参与反向计算。最终的输出值$y_2$取决于$A_2$和$A_2^{\prime }$。其计算方法为：

$A_2$和$A_2^{\prime }$则分别计算：

现在，我们已经可以看出一般的规律：正向计算时，隐藏层的值$s_t$与$s_{t-1}$有关；反向计算时，隐藏层的值$s_t^{\prime }$与$s_{t+1}^{\prime }$有关；最终的输出取决于正向和反向计算的加和。现在，我们仿照式1和式2，写出双向循环神经网络的计算方法：

从上面三个公式我们可以看到，正向计算和反向计算不共享权重，也就是说U和U’、W和W’、V和V’都是不同的权重矩阵。

1.4 深度循环神经网络

前面我们介绍的循环神经网络只有一个隐藏层，我们当然也可以堆叠两个以上的隐藏层，这样就得到了深度循环神经网络。如下图所示：

我们把第i个隐藏层的值表示为$s_t^{(i)}$、$s_t^{{}^{\prime }(i)}$，则深度循环神经网络的计算方式可以表示为：

2. 循环神经网络的训练算法：BPTT

BPTT算法是针对循环层的训练算法，它的基本原理和BP算法是一样的，也包含同样的三个步骤：

• 前向计算每个神经元的输出值；
• 反向计算每个神经元的误差项值，它是误差函数E对神经元j的加权输入的偏导数；
• 计算每个权重的梯度。

最后再用随机梯度下降算法更新权重。

2.1 前向计算

使用前面的式2对循环层进行前向计算：

我们假设输入向量x的维度是m，输出向量s的维度是n，则矩阵U的维度是$n\times m$，矩阵W的维度是$n\times n$。下面是上式展开成矩阵的样子，看起来更直观一些：
注：元素的下标表示它是这个向量的第几个元素，它的上标表示第几个时刻。例如，$s_j^t$表示向量s的第j个元素在t时刻的值。$u_{ji}$表示输入层第i个神经元到循环层第j个神经元的权重。$w_{ji}$表示循环层第t-1时刻的第i个神经元到循环层第t个时刻的第j个神经元的权重。

2.2 误差项的计算

BTPP算法将第l层t时刻的误差项值${\delta }_t^l$沿两个方向传播，一个方向是其传递到上一层网络，得到${\delta }_t^{l-1}$，这部分只和权重矩阵U有关；另一个是方向是将其沿时间线传递到初始时刻$t_1$，得到${\delta }_1^l$，这部分只和权重矩阵W有关。

用向量$ne{t}_t$表示神经元在t时刻的加权输入，因为：

因此：

我们用a表示列向量，$a^T$用表示行向量。上式的第一项是向量函数对向量求导，其结果为Jacobian矩阵：

同理，上式第二项也是一个Jacobian矩阵：

其中，diag[a]表示根据向量a创建一个对角矩阵，即

最后，将两项合在一起，可得：

上式描述了将$\delta$沿时间往前传递一个时刻的规律，有了这个规律，我们就可以求得任意时刻k的误差项${\delta }_k$：

式3就是将误差项沿时间反向传播的算法。

2.3 权重梯度的计算

首先，我们计算误差函数E对权重矩阵W的梯度$\frac{\partial E}{\partial W}$。

上图展示了我们到目前为止，在前两步中已经计算得到的量，包括每个时刻t 循环层的输出值$s_t$，以及误差项${\delta }_t$。照下面的公式求出权重矩阵在t时刻的梯度：

我们已经求得了权重矩阵W在t时刻的梯度，最终的梯度是各个时刻的梯度之和：

同权重矩阵W类似，我们可以得到权重矩阵U的计算方法。

式8是误差函数在t时刻对权重矩阵U的梯度。和权重矩阵W一样，最终的梯度也是各个时刻的梯度之和：

3. 问题

3.1 为什么RNN 训练的时候Loss波动很大

由于RNN特有的memory会影响后期其他的RNN的特点，梯度时大时小，learning rate没法个性化的调整，导致RNN在train的过程中，Loss会震荡起伏，为了解决RNN的这个问题，在训练的时候，可以设置临界值，当梯度大于某个临界值，直接截断，用这个临界值作为梯度的大小，防止大幅震荡。

3.2 RNN的梯度爆炸和消失

RNN在训练中很容易发生梯度爆炸和梯度消失（由上一个问题可知），这导致训练时梯度不能在较长序列中一直传递下去，从而使RNN无法捕捉到长距离的影响。

为什么RNN会产生梯度爆炸和消失问题呢？我们接下来将详细分析一下原因。我们根据式3可得：

上式的定义$\beta$为矩阵的模的上界。因为上式是一个指数函数，如果t-k很大的话（也就是向前看很远的时候），会导致对应的误差项的值增长或缩小的非常快，这样就会导致相应的梯度爆炸和梯度消失问题（取决于$\beta$大于1还是小于1）。

通常来说，梯度爆炸更容易处理一些。因为梯度爆炸的时候，我们的程序会收到NaN错误。我们也可以设置一个梯度阈值，当梯度超过这个阈值的时候可以直接截取。

梯度消失更难检测，而且也更难处理一些。总的来说，我们有三种方法应对梯度消失问题：

• 合理的初始化权重值。初始化权重，使每个神经元尽可能不要取极大或极小值，以躲开梯度消失的区域。
• 使用relu代替sigmoid和tanh作为激活函数。
• 使用其他结构的RNNs，比如长短时记忆网络（LTSM）和Gated Recurrent Unit（GRU），这是最流行的做法。