TensorFlow中的梯度裁剪(Gradient Clipping)
梯度爆炸是深度学习中十分常见的现象,有时会导致寻优过程不收敛,或者算出来的结果干脆直接溢出,例如在Python里都是Nan,使迭代无法继续下去。TensorFlow里提供了一系列简单可行的梯度裁剪函数,方便我们对超过阈值的梯度值进行规约,使优化算法相对更加数值稳定。 TensorFlow里提供的几个Gradient Clipping函数都是以clip_by开头,分别是tf.clip_by_nor...
原创
2018-05-02 01:12:56 ·
12087 阅读 ·
0 评论