一文读懂LSTM和GRU

1.简介

LSTM与GRU的存在是为了解决简单RNN面临的长期依赖问题（由于反向传播存在的梯度消失或爆炸问题，简单RNN很难建模长距离的依赖关系），一种比较有效的方案是在RNN基础上引入门控机制来控制信息的传播。

2.LSTM

LSTM通过sigmod函数引入了三个门来控制信息的传递，分别是遗忘门ft，输入门it和输出门ot。三个门的作用为：

（1）遗忘门 ft控制上一时刻的内部状态c(t-1)需要遗忘多少信息；

（2）输入门 it 控制当前时刻的候选状态 c(t)有多少信息需要保存；

（3）输出门ot控制当前时刻的内部状态C(t) 有多少信息需要输出给外部状态 h(t) ；

公式：

1. 第一步是决定我们从“细胞”中丢弃什么信息，这个操作由一个忘记门层来完成。该层读取当前输入x和前神经元信息h，由ft来决定丢弃的信息。输出结果1表示“完全保留”，0 表示“完全舍弃”。
2. 第二步是确定细胞状态所存放的新信息，这一步由两层组成。sigmoid层作为“输入门层”，决定我们将要更新的值i；tanh层来创建一个新的候选值向量C(t)加入到状态中。
3. 第三步就是更新旧细胞的状态，将C（t-1）更新为C(t) 。我们把旧状态与f(t)相乘，丢弃掉我们确定需要丢弃的信息。接着加上i(t)*C(t)。这就是新的候选值，根据我们决定更新每个状态的程度进行变化。
4. 最后一步就是确定输出了，这个输出将会基于我们的细胞状态，但是也是一个过滤后的版本。首先，我们运行一个 sigmoid 层来确定细胞状态的哪个部分将输出出去。接着，我们把细胞状态通过 tanh 进行处理（得到一个在 -1 到 1 之间的值）并将它和 sigmoid 门的输出相乘，最终我们仅仅会输出我们确定输出的那部分。

为什么LSTM 可以缓解梯度消失的问题

根据此公式

LSTM的cell state反向传播的公式：

这只是一步的推导，如果是多个时间步，就是多个类似公式的累乘。从这一步的结果中我们可以发现，其结果的取值范围并不一定局限在[0,1]中，而是有可能大于1的。

那么什么情况下大于1？
  这个由LSTM自身的权值决定，那权值从何而来？当然是学习得到的，这便是LSTM牛逼之处，依靠学习得到权值去控制依赖的长度，这便是LSTM缓解梯度消失的真相。综上可以总结为两个事实：

1、cell state传播函数中的“加法”结构确实起了一定作用，它使得导数有可能大于1；
   2、LSTM中逻辑门的参数可以一定程度控制不同时间步梯度消失的程度。

最后，LSTM依然不能完全解决梯度消失这个问题，有文献表示序列长度一般到了三百多仍然会出现梯度消失现象。如果想彻底规避这个问题，还是transformer好用。

3.GRU

GRU作为LSTM的一种变体，将忘记门和输入门合成了一个单一的更新门。同样还混合了细胞状态和隐藏状态，加诸其他一些改动。最终的模型比标准的 LSTM 模型要简单，也是非常流行的变体。

（1）更新门z(t)：控制当前状态 h(t)需要从上一时刻状态h(t-1)中保留多少信息（不经过非线性变换），以及需要从候选状态h~(t)中接受多少信息；

（2）重置门r(t) ：用来控制候选状态的计算h~(t)是否依赖上一时刻状态 h(t-1)。
GRU直接使用更新门来控制输入和遗忘的平衡

4.总结

对于 LSTM 与 GRU 而言， 由于 GRU 参数更少，收敛速度更快，因此其实际花费时间要少很多，这可以大大加速了我们的迭代过程。 而从表现上讲，二者之间孰优孰劣并没有定论，这要依据具体的任务和数据集而定，而实际上，二者之间的 performance 差距往往并不大，远没有调参所带来的效果明显，与其争论 LSTM 与 GRU 孰优孰劣， 不如在 LSTM 或 GRU的激活函数（如将tanh改为tanh变体）和权重初始化上功夫。