在深层的神经网络中,经常碰到梯度消失或者梯度爆炸问题。我先讲一下原理,在求导的时候因为是链式法则,哪怕所有层的导数都很接近1,比如0.9,那么在20层之后0.9的20次方也只剩0.1左右。这就意味着越深层的误差难以影响到浅层的权重。若是导数再小一点这个梯度就直接消失了接近0。
梯度爆炸也是同理,若每层导数都是2,传递了多层之后会非常大。
当然防止梯度消失有许多办法,比如使用relu激活函数、使用batchnorm、残差网络等等。
不过本文的重点在于在tensorflow中解决梯度爆炸问题,原理很简单就是梯度修剪。把大于1的导数修剪为1等等。
直接上代码吧:
# 使用Adam梯度下降
optimizer = tf.train.AdamOptimizer(learningrate)
# # 裁剪一下Gradient输出,最后的gradient都在[-1, 1]的范围内
# # 计算导数 cost为损失函数
gradients = optimizer.compute_gradients(cost)
# # 限定导数值域-1到1
capped_gradients = [(tf.clip_by_value(grad, -1., 1.), var) for grad, var in gradients if grad is not None]
# # 将处理后的导数继续应用到BP算法中
train_op = optimizer.apply_gradients(capped_gradients)
使用compute_gradients()方法来计算导数并将其clip。