NNDL 作业10：第六章课后题（LSTM | GRU）

目录

习题6-3  当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.

习题6-4 推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果​编辑 

习题6-5 推导GRU网络中参数的梯度，并分析其避免梯度消失的效果 

附加题 6-1P 什么时候应该用GRU? 什么时候用LSTM? 

附加题 6-2P LSTM BP推导，并用Numpy实现 

总结 

---

习题6-3  当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.

 公式6.50：
令 为在第k时刻函数g(·)的输入，在计算公式6.34中的误差项  时，梯度可能过大，从而导致梯度过大问题。
解决方法：使用长短期记忆神经网络。 

习题6-4 推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果​编辑 

LSTM结构图: 

 

• 遗忘门：控制上一个隐藏状态要遗忘多少信息
• 输入门：当前状态的候选状态有多少信息需要保存
• 输出门：当前隐藏状态有多少需要输出给外部状态

 

 

LSTM 中梯度的传播有很多条路径，但=⨀+⨀这条路径上只有逐元素相乘和相加的操作，梯度流最稳定；但是其他路径上梯度流与普通 RNN 类似，照样会发生相同的权重矩阵反复连乘。

由于总的远距离梯度 = 各条路径的远距离梯度之和，即便其他远距离路径梯度消失了，只要保证有一条远距离路径（就是上面说的那条高速公路）梯度不消失，总的远距离梯度就不会消失（正常梯度 + 消失梯度 = 正常梯度）。因此 LSTM 通过改善一条路径上的梯度问题拯救了总体的远距离梯度。