梯度消失 指的是即当梯度（小于1.0）在被反向传播到前面的层时，重复的相乘可能会使梯度变得无限小。 梯度爆炸 指的是即当梯度（大于1.0）在被反向传播到前面的层时，重复的相乘可能会使梯度变得非常大甚至无限大导致溢出。 为什么会出现以上梯度问题 网络层数增加，长时间训练但是网络收敛变得非常困难甚至不收敛（这个问题很大程度已被标准初始化和中间标准化层解决）。网络性能会趋于饱和，甚至下降，非过拟合，而是网络退化。 残差学习为什么可以解决梯度消失 残差学习需要学习的内容少，学习相对更容易，依据链式求导反向传播误差，不会出现梯度消失
本文探讨了深度神经网络中常见的梯度消失和梯度爆炸问题，这些问题在多层网络中尤为突出，可能导致训练困难或网络退化。残差学习作为一种有效的解决方案，通过学习网络中的残差，简化了学习过程，从而缓解了梯度消失的问题。标准化初始化和中间层的使用也在一定程度上解决了这些问题。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
