因为这个问题突然想到了,所以就想写下来,我希望这个习惯可以保持,哈哈哈哈!
参考:
(1)http://blog.sina.com.cn/s/blog_6e32babb0102y1om.html
(2)https://www.lookfor404.com/关于梯度消失以及梯度爆炸/
(3)http://www.luyixian.cn/news_show_9863.aspx
这个问题出现在神经网络中,我们首先应该了解BP神经网络,如果不了解先去推一下,哈哈哈哈,当然不了解也没有关系,你要知道BP神经网络主要的内容是链式求导,那么每次求导都涉及到连乘的操作。
举个例子:这是sigmoid函数,我们对它进行求导,我们得到右面这个图像,此时图像最大值为0.25,那么经过链式求导后多次连乘这个值就越来越小,这样就被称为梯度消失。同理,如果对梯度求导后得出的值大于1,经过多次连乘后结果则变为特别大,接近无穷,这就被称为梯度爆炸。