本文探讨了RNN中的梯度消失和梯度爆炸问题，以及解决这些问题的LSTM和GRU模型。梯度消失导致远程信息无法有效捕获，而梯度爆炸可通过梯度裁剪解决。LSTM通过门控机制存储长期信息，GRU则是LSTM的简化版本。延伸部分提到，梯度消失问题在深度神经网络中也存在，ResNet和DenseNet等模型通过特殊连接设计改善信息流动。
这一讲主要研究RNN中梯度消失以及梯度爆炸问题，以及为解决梯度消失而设计的RNN模型的变种如LSTM，GRU等模型。
梯度消失
RNN理论上是可以捕捉较早的历史信息，但是由于Vanishing Gradient的问题会导致远程信息无法有效的被捕捉到。
RNN的输入、输出及hidden state的关系有如下的公式表示：
并且其损失函数为
所以损失函数相对于W的梯度为
其中
假设矩阵W的最大的本征值也小于1，则t-k越大即其相距越远，其梯度会呈指数级衰减，这一问题被称作vanishing gradient梯度消失，它导致我们无法分辨t时刻与k时刻究竟是数据本身毫无关联还是由于梯度消失而导致我们无法捕捉到这一关联。这就导致了我们只能学习到近程的关系而不能学习到远程的关系，会影响很多语言处理问题的准确度。</
最低0.47元/天 解锁文章
1208
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
