RNN的反向传播

目录

1.RNN网络：通过时间反向传播(through time back propagate TTBP)

2.RNN梯度分析 

2.1隐藏状态和输出

2.2正向传播：

2.3反向传播： 

 2.4问题瓶颈：

 3.截断时间步分类：

4.截断策略比较

 5.反向传播的细节

​编辑​编辑​编辑

 6.结论

---

 

1.RNN网络：通过时间反向传播(through time back propagate TTBP)

• 1.RNN计算梯度：链式法则计算梯度
• 2.计算瓶颈：长链路带来的不确定性

2.RNN梯度分析 

2.1隐藏状态和输出

2.2正向传播： 

2.3反向传播： 

 2.4问题瓶颈：

蝴蝶效应，泛化性能差

 3.截断时间步分类：

常规截断、随机截断

4.截断策略比较

 5.反向传播的细节

 6.结论

记住结论: RNN网络的反向传播比较复杂, 容易发生梯度消失和梯度爆炸. 

                 从而引出梯度释放和梯度截断 ——>解决梯度爆炸问题