什么是梯度爆炸与梯度消失

梯度爆炸(Gradient Explosion)和梯度消失(Gradient Vanishing)是深度学习训练过程中的两种常见问题。

梯度爆炸是指当训练深度神经网络时，梯度的值会快速增大，造成参数的更新变得过大，导致模型不稳定，难以训练。

梯度消失是指当训练深度神经网络时，梯度的值会快速减小，导致参数的更新变得很小，甚至无法更新，使得模型难以学习有用的特征。

这两种问题都会降低模型的性能，因此对于深度学习研究者和工程师来说，解决梯度爆炸和梯度消失是非常重要的。