【TensorFlow】TensorFlow从浅入深系列之一 -- 教你如何设置学习率（指数衰减法）

本文是《TensorFlow从浅入深》系列之第1篇

【TensorFlow】TensorFlow从浅入深系列之一 -- 教你如何设置学习率（指数衰减法）

在训练神经网络时，需要设置学习率（learning rate）控制参数更新的速度 。学习率决定了参数每次更新的幅度 。如果幅度过大，
那么可能导致参数在极优值的两侧来回移动。如优化 函数，在优化中使用的学习率为1，则整个优化过程表4-1所示：

从表格可以看出，无论进行多少轮法代，参数将在 5 和，5 之间摇摆，而不会收敛到一个极小值 。
相反，当学习率过小时，虽然能保证收敛性，但是这会大大降低优化速度 。我们会需要更多轮的法代才能达到一个比较理想的优化效果 。

---

所以学习率既不能过大，也不能过小 。为了解决设定学习率的问题， TensorFlow提供了 一种更加灵活的学习率设置方法一一指数衰减法。