深度学习笔记3 - 学习率衰减，keras实现

深度学习笔记3 - 学习率衰减，keras实现

一、学习率衰减意义

模型训练，关于超参数学习率的设置，一般初始设置为较大的值0.1,然后在学习的过程中进行缩小。
这样的好处：大的学习率帮助跳出局部最优值，小的学习率帮助模型收敛，有助于模型细化。

二、keras实现学习率衰减

1. 阶层性下降

1. ReduceLROnPlateau 简介：
   在Keras当中，常用 ReduceLROnPlateau 函数实现阶层性下降。
   阶层性下降指的就是学习率会突然变为原来的1/2或者1/10。

   使用 ReduceLROnPlateau 可以指定某一项指标不继续下降后，比如说验证集的loss、训练集的loss等，突然下降学习率，变为原来的1/2或者1/10。

   ReduceLROnPlateau 的主要参数有：

   • factor：在某一项指标不继续下降后学习率下降的比率。
   • patience：在某一项指标不继续下降几个时代后，学习率开始下降。
     
     

2. ReduceLROnPlateau 实现：

# 导入ReduceLROnPlateau
from keras.callbacks import ReduceLROnPlateau

# 定义ReduceLROnPlateau
reduce_lr = ReduceLROnPlateau(monitor='val_loss', factor=0.5, patience=2, verbose=1)

# 使用ReduceLROnPlateau
model.fit(X_train, Y_train, callbacks=[reduce_lr])

3. 实现效果：

Epoch 1/30
7000/7000 [==============================] - 39s 6ms/step - loss: 14.4728 - acc: 0.1003 - val_loss: 14.5063 - val_acc: 0.1000
Epoch 2/30
7000/7000 [==============================] - 30s 4ms/step - loss: 14.5063 - acc: 0.1000 - val_loss: 14.5063 - val_acc: 0.1000
Epoch 3/30
7000/7000 [==============================] - 23s 3ms/step - loss: 14.5063 - acc: 0.1000 - val_loss: 14.5063 - val_acc: 0.1000
Epoch 00003: ReduceLROnPlateau reducing learning rate to 0.05000000074505806.
Epoch 4/30
7000/7000 [==============================] - 46s 7ms/step - loss: 14.5063 - acc: 0.1000 - val_loss: 14.5063 - val_acc: 0.1000
Epoch 5/30
7000/7000 [==============================] - 42s 6ms/step - loss: 14.5063 - acc: 0.1000 - val_loss: 14.5063 - val_acc: 0.1000
Epoch 00005: ReduceLROnPlateau reducing learning rate to 0.02500000037252903.
Epoch 6/30
7000/7000 [==============================] - 39s 6ms/step - loss: 14.5063 - acc: 0.1000 - val_loss: 14.5063 - val_acc: 0.1000
Epoch 7/30
7000/7000 [==============================] - 31s 4ms/step - loss: 14.5063 - acc: 0.1000 - val_loss: 14.5063 - val_acc: 0.1000
Epoch 00007: ReduceLROnPlateau reducing learning rate to 0.012500000186264515.
。。。。。。。。。。。。。。。。。

参考资料：

https://blog.csdn.net/weixin_44791964/article/details/105334098