学习率衰减(Learning rate decay)

随时间慢慢减少学习率来加快学习算法

在使用mini-batch梯度下降法时，mini-batch数量不大，大概64或者128个样本，在迭代过程中会有噪音（蓝色线），下降朝向最小值，但是不会精确地收敛，所以你的算法最后在附近摆动，并不会真正收敛，因为你用的是固定值，不同的mini-batch中有噪音。

 

但要慢慢减少学习率的话，在初期的时候，学习率还较大，你的学习还是相对较快，但随着变小，你的步伐也会变慢变小，所以最后你的曲线（绿色线）会在最小值附近的一小块区域里摆动，而不是在训练过程中，大幅度在最小值附近摆动。

所以慢慢减少的本质在于，在学习初期，你能承受较大的步伐，但当开始收敛的时候，小一些的学习率能让你步伐小一些。

 实现方法：

方法1：

decay-rate：衰减率

epoch-num：代数

：初始学习率

方法2：

指数衰减：

方法3：

方法4：

方法4：

手动衰减。如果一次只训练一个模型，如果花上数小时或数天来训练，看看自己的模型训练，耗上数日，学习速率变慢了，然后把调小一点。

但这种方法只是在模型数量小的时候有用。