RNN算法详解

一、起因

DNN无法对时间序列上的变化进行建模。然而，样本出现的时间顺序对于自然语言处理、语音识别、手写体识别等应用非常重要。为了适应这种需求，就出现了大家所说的另一种神经网络结构——循环神经网络RNN。

二、定义

1.RNN图像定义

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6aJq3wya-1601122326553)(https://raw.githubusercontent.com/listwebit/ImgDate/master/rnn.jpg)]

2.RNN的详细定义

2.双向RNN的图像定义

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5lND8VnF-1601122326557)(https://raw.githubusercontent.com/listwebit/ImgDate/master/rnn-2.png)]

三、RNN的公式

1.正向传播公式

RNN两个输入两个输出，所以RNN正向传播公式就是两个输出公式：
隐状态输出：
模型输出：

2.反向传播公式

对损失函数求导：

来源：
https://zhuanlan.zhihu.com/p/28687529

三、RNN模型的优点缺点

1.优点

2.缺点

• 梯度消失问题
• 梯度爆炸问题