梯度裁剪tf.clip_by_norm and tf.clip_by_global_norm

(一)、为什么要进行梯度裁剪?
防止训练过程中，梯度回传的时候，梯度过大，导致模型振荡，不稳定，难以训练,即传说中的防止梯度爆炸。

(二)、什么是范数?
范数（norm）是数学中的一种基本概念，最常用的就是p-范数。假设一个向量为：$(x_1,x_2,\cdots ,x_n)$，则可得：

{ 1 − 范 数 ： ∣ ∣ X ∣ ∣ 1 = ∣ x 1 ∣ + ∣ x 2 ∣ + ⋯ + ∣ x n ∣ 2 − 范 数 ： ∣ ∣ X ∣ ∣ 2 = ∣ x 1