神经网络中出现梯度消失或梯度爆炸主要的原因有各种各样的解释,主流的也就两种。一种是由于激活函数原因,另一种是网络层数太深导致反向传播过程中值会越来越小,从而出现梯度爆炸问题。 参考资料 [1]为什么神经网络会出现梯度消失和梯度爆炸?