深度学习--解决梯度爆炸方法（含TensorFlow代码）

在深层的神经网络中，经常碰到梯度消失或者梯度爆炸问题。我先讲一下原理，在求导的时候因为是链式法则，哪怕所有层的导数都很接近1，比如0.9，那么在20层之后0.9的20次方也只剩0.1左右。这就意味着越深层的误差难以影响到浅层的权重。若是导数再小一点这个梯度就直接消失了接近0。

梯度爆炸也是同理，若每层导数都是2，传递了多层之后会非常大。

当然防止梯度消失有许多办法，比如使用relu激活函数、使用batchnorm、残差网络等等。

不过本文的重点在于在tensorflow中解决梯度爆炸问题，原理很简单就是梯度修剪。把大于1的导数修剪为1等等。

直接上代码吧：

# 使用Adam梯度下降
     optimizer = tf.train.AdamOptimizer(learningrate)

#     # 裁剪一下Gradient输出，最后的gradient都在[-1, 1]的范围内
#     # 计算导数   cost为损失函数
     gradients = optimizer.compute_gradients(cost)
#     # 限定导数值域-1到1
     capped_gradients = [(tf.clip_by_value(grad, -1., 1.), var) for grad, var in gradients if grad is not None]
#     # 将处理后的导数继续应用到BP算法中
     train_op = optimizer.apply_gradients(capped_gradients)

使用compute_gradients（）方法来计算导数并将其clip。