1、梯度消失和梯度爆炸的原因
(80 条消息) 为什么会有梯度爆炸和梯度消失? - 知乎 (zhihu.com)https://www.zhihu.com/question/290392414/answer/23023890272、梯度消失可不可以通过gradient scaling(放大)解决?
不一定。
梯度过小的时候,有两种可能,一种是梯度异常消失,一种是到达局部最优。人为的梯度放大可能可以用来跳出局部极小。但如果不能区分这两汇类情况,单纯放大小的梯度有可能导致系统不收敛。
梯度不光有大小还有方向。当你梯度过大时,至少方向是很确定的,就好像滑雪时就是顺着雪道往下冲,你只是不想冲的太快。但梯度很小时,这个方向也很不可靠,你不能随意在这个方向上进行缩放。应该每步先走一点再看看,而不是凭着一次的感觉就往前跑。
3、梯度爆炸可以通过gradient clipping解决?
可以。设定上下阈值。