1. 梯度裁剪场景
先看示例:
optimizer = tf.train.AdamOptimizer(self.learning_rate)
gradients, v = zip(*optimizer.compute_gradients(self.pretrain_loss))
gradients, _ = tf.clip_by_global_norm(gradients, self.grad_clip)
updates = optimizer.apply_gradients(zip(gradients, v), global_step=self.global_step)
梯度裁剪的最直接目的就是防止梯度爆炸,手段就是控制梯度的最大范式。
原型:tf.clip_by_global_norm
tf.clip_by_global_norm(
t_list,#常输入梯度
clip_norm,#裁剪率
use_norm=None,#使用已经计算规约
name=None
)
返回值:
list_clipped: 裁剪后的梯度列表
global_norm:全局的规约数
下面示例计算过程:
2. 手动裁剪
根据计算原理:t_list[i] * clip_norm / max(global_norm, clip_norm)
2.1 产生列表数
#生成0-9之间的数组成的列表
init_t_list = np.asarray([0,1,2,3,4,5,6,7,8,9])
2.2 求L2值的两种方法
#方式1:使用np自带的函数
l2 = np.linalg.norm(init_t_list)
print(l2)
#方式2:手写实现方式
l2_ = np.sqrt(np.sum(np.square(init_t_list)))
print(l2_)
2.3 求梯度裁剪后的值
#假设裁剪规约数等于5.0
clip_norm = 5.0
#求裁剪后的值
t_list = init_t_list * clip_norm / max(l2, clip_norm)
print(t_list)
#裁剪后L2值
t_list_l2 = np.linalg.norm(t_list)
print(t_list_l2)
2.4 输出结果
16.8819430161
16.8819430161
[ 0. 0.29617444 0.59234888 0.88852332 1.18469776 1.48087219
1.77704663 2.07322107 2.36939551 2.66556995]
5.0
从结果中,得到裁剪后的梯度的L2值是5.0,这正是意义所在,说明对输入的梯度进行了L2范数的上限的限制,防止梯度过大。
3. tf代码裁剪
import tensorflow as tf
#产生一个梯度,此处与上面的保持一致为0-9组成的序列
gradients = [float(i) for i in range(10)]#[0,1,2,3,4,5,6,7,8,9]
#创建回话
with tf.Session() as sess:
init = tf.global_variables_initializer()
sess.run(init)
gradients, global_norm = tf.clip_by_global_norm(gradients, clip_norm)
print(sess.run(gradients))
print(sess.run(global_norm))
3.1 结果
[0.0, 0.29617444, 0.59234887, 0.88852334, 1.1846977, 1.4808722, 1.7770467, 2.073221, 2.3693955, 2.66557]
16.8819
两种方式得到的最终结果一致。
注意,api中解释到: However, it is slower than clip_by_norm()
because all the parameters must be
ready before the clipping operation can be performed.
参考论文:
On the difficulty of training Recurrent Neural Networks