学习率衰减(learning rate decay)
在训练神经网络时,使用学习率控制参数的更新速度。学习率较小时,会大大降低参数的更新速度;学习率较大时,会使搜索过程中发生震荡,导致参数在极优值附近徘徊。
为此,在训练过程中引入学习率衰减,使学习率随着训练的进行逐渐衰减。
常见衰减:
tf.train.piecewise_constant 分段常数衰减
tf.train.inverse_time_decay 反时限衰减
tf.train.polynomial_decay 多项式衰减
tf.train.exponential_decay 指数衰减
tf.train.natural_exp_decay 自然指数衰减
tf.train.cosine_decay 余弦衰减
tf.train.linear_cosine_decay 线性余弦衰减
tf.train.noisy_linear_cosine_decay 噪声线性余弦衰减
函数返回衰减的学习率.
---------------------
作者:阿卡蒂奥
来源:CSDN
原文:https://blog.csdn.net/akadiao/article/details/79560731
版权声明:本文为博主原创文章,转载请附上博文链接!