tf.clip_by_norm 梯度裁剪

写的，清晰明了转载：https://blog.csdn.net/wn87947/article/details/82345537

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2019/9/4 22:56
# @Author  : ZZL
# @File    : tf.clip_by_norm梯度裁剪.py
import numpy as np
#生成0-9之间的数组成的列表
init_t_list = np.asarray([0,1,2,3,4,5,6,7,8,9])
#方式1：使用np自带的函数
l2 = np.linalg.norm(init_t_list)
print(l2)
#方式2：手写实现方式
l2_ = np.sqrt(np.sum(np.square(init_t_list)))
print(l2_)

#假设裁剪规约数等于5.0
clip_norm = 5.0
#求裁剪后的值
t_list = init_t_list * clip_norm / max(l2, clip_norm)
print(t_list)
#裁剪后L2值
t_list_l2 = np.linalg.norm(t_list)
print(t_list_l2)

# tf.clip_by_global_norm(t_list, clip_norm, use_norm=None, name=None)
# t_list中的每个 张量 单独梯度裁剪，t_list[0]是(10,)，单独梯度裁剪，t_list[1]是(10,)，单独梯裁
import tensorflow as tf
#产生一个梯度，此处与上面的保持一致为0-9组成的序列
gradients = [float(i) for i in range(10)]#[0,1,2,3,4,5,6,7,8,9]
# gradients = [np.array(gradients), np.array(gradients)]
gradients = [gradients, gradients]  # 都可以
#创建回话
with tf.Session() as sess:
    init = tf.global_variables_initializer()
    sess.run(init)
    gradients, global_norm = tf.clip_by_global_norm(gradients, clip_norm)
    print(sess.run(gradients))
    print(sess.run(global_norm))