CS231n:(10) Recurrent Neural Networks

最新推荐文章于 2021-03-03 10:40:46 发布

无聊的人生事无聊

最新推荐文章于 2021-03-03 10:40:46 发布

阅读量268

点赞数

分类专栏：信息科学文章标签： cs231n

本文链接：https://blog.csdn.net/Wangpeiyi9979/article/details/98531118

版权

信息科学专栏收录该内容

159 篇文章 1 订阅

订阅专栏

前言:

出现再段落中的[1]表示参考文献索引，(1)表示参考资料索引

问答总结

rnn产生的原因是什么?
画出rnn示意图，说明参数维度.
rnn的梯度消失/爆炸问题是怎样的?梯度裁剪是为了解决什么问题。
LSTM的产生原因是什么，提出时间是什么时候？
画出LSTM示意图，说明它为什么可以解决梯度消失问题，其和ResNet有什么关系？

一、RNN

1、产生原因

传统的神经网络大多是一对一：一个输入对应一个输出，但是，有时候我们希望处理序列任务，比如翻译等，前面的输入输出和后面的输入输出有关系，这就要求网络要有能够处理很多种输入输出类型并且能够建模它们之间关系的能力。比如下图:
在这里插入图片描述
这就导致了循环神经网络(RNN) 的产生。

2、结构

在这里插入图片描述
如上图所示，左图是循环神经网络的简化图，RNN模块自指的箭头表示循环。右边是左图的展开。对于右图，我们首先明确有以下元素:

(1) $x_i:$ 输入，在自然语言处理任务中可以是一个单词。
(2) $s_i:$ 隐藏状态，通过上一时间步隐藏状态 $s_{i-1}$ 和当前输入 $x_i$ 确定， $s_0$ 作为输入由人给定。
(3) $W, U, V :$ 参数，详细用处如公式所示:
$s_t = f(Ws_{t-1}+Ux_t)$
其中 $f$ 为非线性函数。
(4) $y_i:$ 输出，由当前隐藏状态 $h_i$ 通过参数 $V$ 得到, 比如分类任务:
$o_t = softmax(Vs_t)$

注: 上方公式省略了偏置项。每个时间步的参数都是共享的.

详细细节可以参看Pytorch官方文档参数说明.

3、简单实例

下图模拟了一个简单的实例示意图，任务为预测下一个字母，给定单词hello，将其拆分为输入hell, 输出ello两部分:
在这里插入图片描述
一个有趣的项目 char-rnn.

4、隐藏层蕴含了什么信息

cs231n的讲师进行了一个有趣的工作: 探究Rnn隐藏层蕴含了什么信息，其实验思路如下:
在这里插入图片描述
其将所有时间步的隐藏状态相同的位置取出，每个位置实际上是一个细胞，将数值大小转换为颜色进行可视化，作者发现有的位置的细胞可以学到一些很有趣的东西，比如:

引号判别细胞:
条件语句判别细胞:

等等。

5、图片描述

我们也可以通过cnn和rnn的结合生成图像描述：
在这里插入图片描述
这里有几个细节:(1) 代表图像的向量在每个时间步都被输入进去，并且增加一个权重矩阵 $W_{ih}$ 对其进行加工。(2) 认为给定一个特殊的起始字符<start>. （3）当模型预测到特殊结束字符<end>时，则结束。

效果如下:
在这里插入图片描述

6、梯度消失/爆炸问题

对Rnn公式进行简单变形:
$\begin{aligned} h_t& = tanh(W_{hh}h_{t-1}+W_{xh}x_t) \\ &=tanh(W\begin{pmatrix} h_{t-1}\\ x \end{pmatrix}) \end{aligned}$
其中 $\in R^{h \times 2h}$ , 因此可以画出Rnn内部结构示意图:
在这里插入图片描述
其中小圆圈代表矩阵乘法，由矩阵求导可知:
$\frac{\partial L_N}{h_{t-1}}=\frac{\partial L_N}{h_t}\frac{\partial h_t}{\partial h_{t-1}}=W_{hh}^T\frac{\partial L_N}{h_t}$

其中 $L_N$ 为第 $N$ 个时间步产生的损失。由上式可知，较后方的损失梯度传到前方，会多次乘以矩阵 $W_{hh}^T$ , 由矩阵乘向量的性质，(1)中提到，对 $A^Nv$ , 当 $N$ 足够大时，其实是让 $v$ 往最大特征值对应的特征空间上贴合，并根据特征值大小伸长或缩短。
在这里插入图片描述
因此，令 $\lambda$ 为 $W_{hh}^T$ 的最大特征值，如果 $\lambda >1$ ，则会发生梯度爆炸，若 $\lambda < 1$ 则会发生梯度消失。因此对RNN来说，无法学习到长序列信息。

对于 $\lambda >1$ 的情况，我们可以通过梯度裁剪来一定程度地解决问题，Pytorch中也内置了torch.nn.utils.clip_grad_norm函数进行梯度裁剪。

二、LSTM

1、产生原因

既然发现了RNN无法处理长序列的问题，那么如何解决呢? 在1997年，便有人提出了长短期记忆网络(LSTM)对RNN进行改进。

2、结构

LSTM单元运算如下:
在这里插入图片描述
据此我们画出结构示意图:

根据图，我们得出LSTM中有如下元素:
(1) $f$ : 遗忘门决定记住多少之前信息。
(2) $i$ : 输入门决定增加多少当前信息。
(3) $o$ : 输出门决定需要输出什么信息。

3、解决梯度问题

仔细观察这个结构，其和RNN有一个很重要的不同，就是向下一个时间步多传入了一个信息，我们通常称其为细胞状态 $c_t$

这样，当梯度反向传播时，上方细胞状态的流通路径只涉及到逐位乘和加法，而 $f$ 值是由隐藏状态决定的，是变化的。因此一定程度上解决了梯度消失问题
在这里插入图片描述
指的注意的是，这种增加一条捷径防止梯度消失的方法，在ResNet中也有体现. 其横等映射路径也相当于一条高速路，可以直传梯度，这样就一定程度上解决了梯度爆炸/消失问题

三、GRU

GRU于2014年被提出，是LSTM的变体，将LSTM中的3个门减少到了两个，但是在很多任务上都有很好的效果，这里就不详细阐述了。

四、TransFormer

在[1]中，Google提出了一种新型编码器TransFormer, 其基于Attention机制，结合位置编码，取得了很好地效果，最近较强劲的Bert也是基于该编码器设计的，可以说实例强劲。笔者以前阅读过该文章，但是自认为没有深度理解，有时间再写一篇阅读笔记。
在这里插入图片描述