深度学习100问34:什么是梯度爆炸

嘿，咱来聊聊梯度爆炸是啥。想象一下又有一群小伙伴站成一排玩传话游戏。不过这次可不是信息变弱啦，而是每传一次话，信息就被疯狂夸大。就好像第一个小伙伴说“今天天气不错”，传到第二个小伙伴那儿就变成了“今天天气超级无敌棒”，再传到第三个小伙伴那儿可能就成了“今天天气宇宙无敌超级棒到爆”。等传到最后一个小伙伴的时候，信息已经变得完全不可理解，完全失控了。
 
在神经网络里呢，梯度爆炸就跟这个传话游戏有点类似。在反向传播的时候，因为某些原因，那个代表误差信息的梯度变得超级大。这就会让网络的权重更新得特别夸张，就像一个调皮的孩子完全不受控制。这样一来，网络就没办法稳定地学习了，甚至可能让模型的参数变得超级大，大到超出正常范围，最后导致训练失败。