梯度爆炸与梯度消失

因为这个问题突然想到了，所以就想写下来，我希望这个习惯可以保持，哈哈哈哈！

 

参考：

（1）http://blog.sina.com.cn/s/blog_6e32babb0102y1om.html

（2）https://www.lookfor404.com/关于梯度消失以及梯度爆炸/

（3）http://www.luyixian.cn/news_show_9863.aspx

 

这个问题出现在神经网络中，我们首先应该了解BP神经网络，如果不了解先去推一下，哈哈哈哈，当然不了解也没有关系，你要知道BP神经网络主要的内容是链式求导，那么每次求导都涉及到连乘的操作。

举个例子：这是sigmoid函数，我们对它进行求导，我们得到右面这个图像，此时图像最大值为0.25，那么经过链式求导后多次连乘这个值就越来越小，这样就被称为梯度消失。同理，如果对梯度求导后得出的值大于1，经过多次连乘后结果则变为特别大，接近无穷，这就被称为梯度爆炸。