梯度 参考文章 梯度消失、梯度爆炸及其表现和解决方法 梯度弥散 梯度弥散(梯度消失): 通常神经网络所用的激活函数是sigmoid函数,sigmod函数容易引起梯度弥散。 这个函数能将负无穷到正无穷的数映射到0和1之间,并且对这个函数求导的结果是 f ′ ( x ) = f ( x ) ( 1 − f ( x ) ) f′(x)=f(x)(1−f(x)) \\ f′(x)=f(x)(1−f(x)) 表示两个0到1之间的数相乘,得到的结果就会变得很小了 梯度爆炸