机器学习之Keras学习率调整

Keras学习率调整

1.为什么要降低

由于机器学习是一个逐渐逼近最优结果的过程，学习率又类似于“步伐”，决定了每次向着最优结果前进的程度。所以在初期学习率很高可以使得逼近过程快速，但是后期学习率还是很高的话，会导致“步伐”太大而无法达到最优结果的位置。所以我们需要随着逼近结果而降低学习率（降低步伐）。让程序从开始的大步前进变成小步试探。

2.方法

keras提供了两种方法进行学习率的调整，为：

1. LearningRateScheduler
2. ReduceLROnPlateau

1.LearningRateScheduler

keras.callbacks.LearningRateScheduler(schedule)

该回调函数为学习率调度器，
schedule：该函数以epoch号为参数（从0算起的整数），返回一个新学习率（浮点数）。

2.ReduceLROnPlateau

keras.callbacks.ReduceLROnPlateau(monitor='val_loss', factor=0.1, patience=10, verbose=0, mode='auto', epsilon=0.0001, cooldown=0, min_lr=0)

1. monitor：被监测的量
2. factor：每次减少学习率的因子，学习率将以lr = lr*factor的形式被减少
3. patience：当patience个epoch过去而模型性能不提升时，学习率减少的动作会被触发
4. mode：‘auto’，‘min’，‘max’之一，在min模式下，如果检测值触发学习率减少。在max模式下，当检测值不再上升则触发学习率减少。
5. epsilon：阈值，用来确定是否进入检测值的“平原区”
6. cooldown：学习率减少后，会经过cooldown个epoch才重新进行正常操作
7. min_lr：学习率的下限