1. RNN
循环神经网络(Recurrent Neural Network,RNN)是一种用于处理序列数据的神经网络。相比一般的神经网络来说,他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义,RNN就能够很好地解决这类问题。
普通RNN:
![](https://img-blog.csdnimg.cn/img_convert/7f73e02d65f3a475fe015e6e2a958f06.jpeg)
这里:
![](https://img-blog.csdnimg.cn/img_convert/06d509791083fcddbcfe293f18978953.png)
通过上图的公式可以看到,输出 h' 与 x 和 h 的值都相关。而 y 则常常使用 h' 投入到一个线性层(主要是进行维度映射)然后使用softmax进行分类得到需要的数据。对这里的y如何通过 h' 计算得到往往看具体模型的使用方式。
通过序列形式的输入,我们能够得到如下形式的RNN。
![](https://img-blog.csdnimg.cn/img_convert/8ee6d793c4af652181b9b09550062aef.jpeg)
2. LSTM
2.1 什么是LSTM
长短期记忆(Long short-term memory, LSTM)是一种特殊的RNN,主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说,就是相比普通的RNN,LSTM能够在更长的序列中有更好的表现。
LSTM结构(图右)和普通RNN的主要输入输出区别如下所示。
![](https://img-blog.csdnimg.cn/img_convert/b441d3c463cd4f20870b24faafd279d9.jpeg)
![](https://img-blog.csdnimg.cn/img_convert/d3601f206e8bb0c8ca919ec854db16c3.png)
2.2深入LSTM结构
下面具体对LSTM的内部结构来进行剖析。
![](https://img-blog.csdnimg.cn/img_convert/97924e19fb04e1eb52304dbe5a24a736.png)
![](https://img-blog.csdnimg.cn/img_convert/0ca12ecd7da7a34f3fd98f313b93a344.jpeg)
![](https://img-blog.csdnimg.cn/img_convert/f91777b57968e37001f36860de2a8096.jpeg)
![](https://img-blog.csdnimg.cn/img_convert/c2655dcde09afa088a5df28e44fd9706.png)
下面开始进一步介绍这四个状态在LSTM内部的使用。(敲黑板)
![](https://img-blog.csdnimg.cn/img_convert/7435078de458c065f959d7953e242cb2.jpeg)
![](https://img-blog.csdnimg.cn/img_convert/166c443295461736b3df67b68243f160.png)
LSTM内部主要有三个阶段:
![](https://img-blog.csdnimg.cn/img_convert/abb59301a0fbcd354a9a9ba404d61995.png)
3.总结
LSTM通过门控状态来控制传输状态,记住需要长时间记忆的,忘记不重要的信息;而不像普通的RNN那样只有一种记忆叠加方式。对很多需要“长期记忆”的任务来说,尤其好用。
但也因为引入了很多内容,导致参数变多,也使得训练难度加大了很多。因此很多时候我们往往会使用效果和LSTM相当但参数更少的GRU来构建大训练量的模型。