长期依赖问题

长期依赖问题
    RNN面临的最大挑战就是无法解决长期依赖问题。例如对下面两句话：

最后的was与were如何选择是和前面的单复数有关系的，但对于简单的RNN来说，两个词相隔比较远，如何判断是单数还是复数就很关键。长期依赖的根本问题是，经过许多阶段传播后的梯度倾向于消失（大部分情况）或爆炸（很少，但对优化过程影响很大）。对于梯度爆炸是很好解决的，可以使用梯度修剪（Gradient Clipping），即当梯度向量大于某个阈值，缩放梯度向量。但对于梯度消失是很难解决的。
————————————————
原文链接：https://blog.csdn.net/qq_28437273/article/details/79656605