1.梯度爆炸
1.gradient clipping(梯度裁剪)
理论详见
针对梯度爆炸问题，解决方案是引入Gradient Clipping(梯度裁剪)。通过Gradient Clipping，将梯度约束在一个范围内&#
本文探讨了RNN在训练中遇到的梯度爆炸和梯度弥散问题。对于梯度爆炸，介绍了梯度裁剪（Gradient Clipping）方法，通过限制梯度的范围来防止过大的梯度更新。在TensorFlow中，该方法通过计算梯度的L2范数并应用缩放因子来实现。对于梯度弥散，提到了LSTM如何有效缓解这一问题。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
