深度学习--第14篇: Pytorch学习率调整策略

参考博客

参考博客:https://blog.csdn.net/weixin_42147780/article/details/103258448

1. 背景知识

学习率是每一次反向传播过程中梯度更新的步长大小。假如学习率一直不变，如果学习率设置的过大，每一次更新的步长就很大，更新速度虽然很快，不容易收敛到极值点（可能上一次，非常接近极小值了，但是更新的步长太大就‘跳’过去了），或者在极值点来回震荡，无法收敛到极值。但是如果学习率设置的很小，那么每一次更新只能挪动一点点，则完整的训练时间就会变得很长。

因此如果能够我们随着模型训练的推进，能够控制或者调整学习率大小，那模型说要的训练时间、模型获得的训练效果是不是就更好了呢。（前期学习率大，后期学习率小）

1.1 Pytorch中的学习率调整

主要的学习率调整策略都是继承这个类
学习率调整方法

2. pytorch学习率调整方法

2.1 StepLR()

# 函数形式:
torch.optim.lr_scheduler.StepLR（optimizer, step_size, gamma=0.1, last_epoch=-1）

# 功能: 等间隔调整学习率
# 参数:
optimizer: 优化器对象
step_size: 调整间隔数,根据epoch数设置间隔
gamma: 调整系数

调整方式 lr = lr*gamma

# 实例
scheduler_lr = optim.lr_scheduler.StepLR(optimizer, step_size=5, gamma=0.1)  # 设置学习率下降策略,实例化对象

scheduler_lr.step()  # 更新学习率

2.2 MultiStepLR()

# 函数形式
torch.optim.lr_scheduler.MultiStepLR（optimizer, milestones, gamma=0.1, last_epoch=-1）

# 功能: 按给定间隔调整学习率
# 参数:
optimizer: 优化器对象
milestones: 指定需要调整的epoch位置,列表形式list
gamma: 调整系数

调整方式 lr = lr*gamma

# 实例
scheduler_lr = optim.lr_scheduler.MultiStepLR(optimizer, milestones=[2,5,8], gamma=0.1)  # 设置学习率下降策略,实例化对象

scheduler_lr.step()  # 更新学习率

2.3 ExponentialLR()

# 函数形式
torch.optim.lr_scheduler.ExponentialLR（optimizer, gamma=0.95, last_epoch=-1）

# 功能: 按指数衰减调整学习率
# 参数:
optimizer: 优化器对象
gamma: 指数的底,通常接近1

调整方式 lr = lr*gamma**epoch

# 实例
scheduler_lr = optim.lr_scheduler.ExponentialLR(optimizer,  gamma=0.95)  # 设置学习率下降策略,实例化对象

scheduler_lr.step()  # 更新学习率

2.4 ReduceLROnPlateau()

# 函数形式
torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10, verbose=False, threshold=0.0001, threshold_mode='rel', cooldown=0, min_lr=0, eps=1e-08)

# 功能：监控指标，当指标不再变化则调整,可以根据loss进行确定是否调整学习率

# 参数：
mode：min/max 两种模式
factor：调整系数
patience：“耐心”，接受几次不变化
cooldown：“冷却时间”，停止监控一段时间
verbose：是否打印日志
min_lr：学习率下限
eps：学习率衰减最小值

# 实例
scheduler_lr = optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10)
  # 设置学习率下降策略,实例化对象

scheduler_lr.step(loss)  # 更新学习率

3. 学习率调整小结