本文介绍了深度学习中常见的梯度消失和梯度爆炸问题，详细分析了它们的原因，特别是在使用sigmoid函数时的情况。梯度消失问题在深度神经网络中更为普遍，而梯度爆炸可以通过权值约束避免。为了解决这些问题，文章推荐使用ReLU等激活函数，并解释了ReLU的稀疏性和在模型训练中的优势。
1）梯度不稳定问题：
什么是梯度不稳定问题：深度神经网络中的梯度不稳定性，前面层中的梯度或会消失，或会爆炸。
原因：前面层上的梯度是来自于后面层上梯度的乘乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景，如梯度消失和梯度爆炸。
（2）梯度消失（vanishing gradient problem）：
原因：例如三个隐层、单神经元网络：
则可以得到：
然而，sigmoid方程的导数曲线为：
可以看到，sigmoid导数的最大值为1/4，通常abs（w）<1,则：
前面的层比后面的层梯度变化更小，故变化更慢，从而引起了梯度消失问题。
（
最低0.47元/天 解锁文章
6万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
