from keras.callbacks import ReduceLROnPlateau
ReduceLROnPlateau
当检测指标未得到改善,进行n倍的学习率调整常常能获得较好的效果。
定义一个callback参数reduce_lr:
reduce_lr = ReduceLROnPlateau(monitor=‘val_loss’, factor=0.5, patience=2, verbose=1)
learning_rate_reduction = ReduceLROnPlateau(monitor='val_RMSE', patience=2,
verbose=1, factor=0.5, min_lr=1e-10)
参数:
- monitor:被监测的量
- factor:每次减少学习率的因子,学习率将以lr = lr*factor的形式被减少
- patience:当patience个epoch过去而模型性能不提升时,学习率减少的动作会被触发
- mode:‘auto’,‘min’,‘max’之一,在min模式下,如果检测值触发学习率减少。在max模式下,当检测值不再上升则触发学习率减少。
- epsilon:阈值,用来确定是否进入检测值的“平原区”
- cooldown:学习率减少后,会经过cooldown个epoch才重新进行正常操作
- min_lr:学习率的下限