梯度不稳定问题 根本原因在于前面层上的梯度是来自于后面层上梯度的乘积。当存在过多的层次时,就出现了内在本质上的不稳定场景。 梯度消失导致DNN的前面几层权值得不到更新,相当于对输入做同一映射,仍接近初始值,等价于浅层神经网络, 梯度消失 sigmoid导函数为负的二次曲线有最大值。 梯度爆炸 量化分析 可以考虑使用其它激活函数对梯度消失问题进行改善,如ReLU。