深度神经网络-消失的梯度问题和爆炸的梯度问题

    根本问题其实并非是消失的梯度问题或者爆炸的梯度问题，而是在前面的层上的梯度是来自后面的层上项的乘积。当存在过多

的层次时，就出现了内在本质上的不稳定场景。唯一让所有层都接近相同的学习速度的方式是所有这些项的乘积都能得到一种平衡。

如果没有某种机制或者更加本质的保证来达成平衡，那网络就很容易不稳定了。简而言之，真实的问题就是神经网络受限于不稳定

梯度的问题。所以，如果问使用标准的基于梯度的学习算法，在网络中的不同层会出现按照不同学习速度学习的情况。