tf.clip_by_norm 梯度裁剪

1. 梯度裁剪场景

先看示例：

optimizer = tf.train.AdamOptimizer(self.learning_rate)
gradients, v = zip(*optimizer.compute_gradients(self.pretrain_loss))
gradients, _ = tf.clip_by_global_norm(gradients, self.grad_clip)
updates = optimizer.apply_gradients(zip(gradients, v), global_step=self.global_step)

梯度裁剪的最直接目的就是防止梯度爆炸，手段就是控制梯度的最大范式。
原型：tf.clip_by_global_norm

tf.clip_by_global_norm(
    t_list,#常输入梯度
    clip_norm,#裁剪率
    use_norm=None,#使用已经计算规约
    name=None
)

返回值：
list_clipped: 裁剪后的梯度列表
global_norm:全局的规约数

下面示例计算过程：

2. 手动裁剪

根据计算原理：t_list[i] * clip_norm / max(global_norm, clip_norm)

2.1 产生列表数

#生成0-9之间的数组成的列表
init_t_list = np.asarray([0,1,2,3,4,5,6,7,8,9])

2.2 求L2值的两种方法

#方式1：使用np自带的函数
l2 = np.linalg.norm(init_t_list)
print(l2)
#方式2：手写实现方式
l2_ = np.sqrt(np.sum(np.square(init_t_list)))
print(l2_)

2.3 求梯度裁剪后的值

#假设裁剪规约数等于5.0
clip_norm = 5.0
#求裁剪后的值
t_list = init_t_list * clip_norm / max(l2, clip_norm)
print(t_list)
#裁剪后L2值
t_list_l2 = np.linalg.norm(t_list)
print(t_list_l2)

2.4 输出结果

16.8819430161
16.8819430161
[ 0.          0.29617444  0.59234888  0.88852332  1.18469776  1.48087219
  1.77704663  2.07322107  2.36939551  2.66556995]
5.0

从结果中，得到裁剪后的梯度的L2值是5.0，这正是意义所在，说明对输入的梯度进行了L2范数的上限的限制，防止梯度过大。

3. tf代码裁剪

import tensorflow as tf
#产生一个梯度，此处与上面的保持一致为0-9组成的序列
gradients = [float(i) for i in range(10)]#[0,1,2,3,4,5,6,7,8,9]
#创建回话
with tf.Session() as sess:
    init = tf.global_variables_initializer()
    sess.run(init)
    gradients, global_norm = tf.clip_by_global_norm(gradients, clip_norm)
    print(sess.run(gradients))
    print(sess.run(global_norm))

3.1 结果

[0.0, 0.29617444, 0.59234887, 0.88852334, 1.1846977, 1.4808722, 1.7770467, 2.073221, 2.3693955, 2.66557]
16.8819

两种方式得到的最终结果一致。
注意，api中解释到： However, it is slower than clip_by_norm() because all the parameters must be
ready before the clipping operation can be performed.
参考论文：
On the difficulty of training Recurrent Neural Networks