退化学习率——在训练速度和精度之间找到平衡

每一个优化器的第一个参数learning_rate代表学习率。

设置学习率的大小，是在精度和速度之间找到一个平衡点。

• 如果学习率比较大，则训练速度会提升，但结果的精度不够。
• 如果学习率比较小，精度虽然提升了，但训练会耗费太多的时间。

下面介绍设置学习率的方法——退化学习率。

退化学习率又叫学习率衰减，它的本意是希望在训练过程中对于学习率大和小的优点能够为我们所用，也就是当训练刚开始时，使用大的学习率加快速度，训练到一定程度后使用小的学习率来提高精度，这时可以使用学习率衰减的方法：

def exponential_decay(learning_rate,  global_step, decay_steps,decay_rate,staircase=False,name=None):

学习率的衰减速度是由 global_step和 decay_steps来决定的。

具体计算公式如下：

decayed_learning_rate=learning_rate* decay_rate^( global_step/ decay_steps )

staircase值默认是False。当未True时，将没有衰减功能，只是使用上面的公式初始化一个学习率的值而已。

例如下面代码：

learning_rate = tf.train.exponential_decay(initial_learning_rate, global_step, decay_steps=10000,decay_rate=0.96)

这种方式定义的学习率就是退化学习率，它的意思是当前迭代到 global_step步，学习率每一步都按照每10万步缩小到96%的速度衰退。

有时还需要对已经训练好的模型进行微调，可以指定不同层使用不同的学习率。