Keras的回调函数ReduceLROnPlateau 训练过程优化学习率

目的：定义学习率之后，经过一定epoch迭代之后，模型效果不再提升，该学习率可能已经不再适应该模型。需要在训练过程中缩小学习率，进而提升模型。如何在训练过程中缩小学习率呢？我们可以使用keras中的回调函数ReduceLROnPlateau。与EarlyStopping配合使用，会非常方便。

为什么初始化一个非常小的学习率呢？因为初始的学习率过小，会需要非常多次的迭代才能使模型达到最优状态，训练缓慢。如果训练过程中不断缩小学习率，可以快速又精确的获得最优模型。

monitor：监测的值，可以是accuracy，val_loss,val_accuracy
factor：缩放学习率的值，学习率将以lr = lr*factor的形式被减少
patience：当patience个epoch过去而模型性能不提升时，学习率减少的动作会被触发
mode：‘auto’，‘min’，‘max’之一 默认‘auto’就行
epsilon：阈值，用来确定是否进入检测值的“平原区”
cooldown：学习率减少后，会经过cooldown个epoch才重新进行正常操作
min_lr：学习率最小值，能缩小到的下限

Reduce=ReduceLROnPlateau(monitor='val_accuracy',
                         factor=0.1,
                         patience=2,
                         verbose=1,
                         mode='auto',
                         epsilon=0.0001,
                         cooldown=0,
                         min_lr=0)

使用手写数字mnist作演示，当只设置EarlyStopping的时候，代码及效果如下：

# -*- coding: utf-8 -*-
import numpy   #导入数据库
from keras.datasets import mnist
from keras.models import Sequential
from keras.layers import Dense
from keras.layers import Dropout
from keras.utils import np_utils
from keras.callbacks import EarlyStopping
from keras import optim