梯度消失和梯度爆炸_梯度消失和梯度爆炸的数学原理及解决方案

1.前言

很久没看文章了，但是感觉再不写点什么公众号都要被自己遗忘了。随便写一下神经网络的一些小知识吧，感觉很多大佬把这种小知识写的非常深入浅出，很景仰很佩服。这篇文章主要还是参考了别人的技术博客。希望还算好理解。欢迎一起讨论~

梯度消失或者梯度爆炸是在训练深度网络时常常容易出现的情况，即在根据损失函数计算的误差通过梯度反向传播的方式对深度网络权值进行更新时，得到的梯度值接近0或特别大，也就是消失或爆炸。梯度消失或梯度爆炸在本质原理上其实是一样的。

本博文打算从以下几方面讨论梯度消失或爆炸的原因，以及目前业界的一些解决方法。

• 深度网络对梯度的影响

• 激活函数对梯度的影响

• 一些解决方案

那么下面就开始从这几个方面进行探讨了。

梯度消失与梯度爆炸其实是一种情况，看接下来的文章就知道了。两种情况下梯度消失经常出现，一是在深层网络中，二是采用了不合适的损失函数，比如sigmoid。梯度爆炸一般出现在深层网络和权值初始化值太大的情况下。

https://blog.csdn.net/qq_25737169/article/details