TensorFlow笔记--学习率衰减

在"求解二次函数最小值对应的值"例子中，我们已经直观看到TensorFlow如何求解；今天我们来讨论一下“学习率衰减”。

1. Why?

假设我们在使用梯度下降算法训练模型，让学习率 α 为固定值，如果 α 太小影响训练速度；如果 α 过大，那么在训练后期损失值不会精确的收敛而是在最小值附近摆动。也许我们会说：我选择一个合适的 α 就可以解决这个问题了。听起来很对，但是实际行动起来却困难重重，这时我们引入Learning rate decay。

2. What？

学习率衰减：为了加快学习算法，学习率随时间慢慢减少，我们将之称为学习率衰减；下面我们来看看它是如何做到的。

3. How?

3.1 指数衰减公式

d e c a y e d _ l e a r n i n g _ r a t e = l e a r n i n g _ r a t e ∗ d e c a y _ r a t e g l o b a l _ s t e p d e c a y _ s t e p s