为什么要进行衰减

学习率衰减（learning rate decay） 
在训练神经网络时，使用学习率控制参数的更新速度。学习率较小时，会大大降低参数的更新速度；学习率较大时，会使搜索过程中发生震荡，导致参数在极优值附近徘徊。
为此，在训练过程中引入学习率衰减，使学习率随着训练的进行逐渐衰减。

常见衰减：

tf.train.piecewise_constant　分段常数衰减
tf.train.inverse_time_decay　反时限衰减
tf.train.polynomial_decay　多项式衰减
tf.train.exponential_decay　指数衰减
tf.train.natural_exp_decay　自然指数衰减
tf.train.cosine_decay　余弦衰减
tf.train.linear_cosine_decay　线性余弦衰减
tf.train.noisy_linear_cosine_decay　噪声线性余弦衰减 

 

函数返回衰减的学习率．

 

 

 

 

 

 

 

 

--------------------- 
作者：阿卡蒂奥 
来源：CSDN 
原文：https://blog.csdn.net/akadiao/article/details/79560731 
版权声明：本文为博主原创文章，转载请附上博文链接！