梯度爆炸与梯度消失

• 梯度不稳定问题
  　　根本原因在于前面层上的梯度是来自于后面层上梯度的乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景。
  　　梯度消失导致DNN的前面几层权值得不到更新，相当于对输入做同一映射，仍接近初始值，等价于浅层神经网络，

• 梯度消失
  　　sigmoid导函数为负的二次曲线有最大值。

• 梯度爆炸
  　　

• 量化分析
  　　

　　可以考虑使用其它激活函数对梯度消失问题进行改善，如ReLU。