Pytorch 教程 5-学习率调整方法

五、学习率调整方法

---

5.1 lr_scheduler.StepLR

• torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1)
  • 等间隔调整学习率，调整倍数为 gamma 倍，调整间隔为 step_size。间隔单位是step。需要注意的是，step 通常是指 epoch，
  • 参数
    • step_size(int)：学习率下降间隔数
    • gamma(float)：学习率调整倍数
    • last_epoch(int)：上一个epoch数，用来指示学习率是否需要调整，当last_epoch符合设定的间隔时，就会对学习率进行调整。当为-1时，学习率设置为初始值。

---

5.2 lr_scheduler.MultiStepLR

• torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1)
  • 按设定的间隔调整学习率。适合后期调试使用，观察loss曲线，为每个实验定制学习率调整时机
  • 参数：
    • milestones(list)：一个list，每一个元素代表何时调整学习率，list元素必须是递增的
    • gamma(float)：学习率调整倍数
    • last_epoch(int)：上一个epoch数，用来指示学习率是否需要调整，当last_epoch符合设定的间隔时，就会对学习率进行调整。当为-1时，学习率设置为初始值。

---

5.3 lr_scheduler.ExponentialLR

• torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma, last_epoch=-1)
  • 按指数衰减调整学习率，调整公式为：$lr=lr\ast gamm{a}^{epoch}$
  • 参数：
    • gamma(float)：学习率调整倍数
    • last_epoch(int)：上一个epoch数，用来指示学习率是否需要调整，当last_epoch符合设定的间隔时，就会对学习率进行调整。当为-1时，学习率设置为初始值。

---

5.4 lr_scheduler.CosineAnnealingLR

• torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max, eta_min=0, last_epoch=-1)
  • 以余弦函数为周期，并在每个周期最大值时重新设置学习率

---

5.5 lr_scheduler.ReduceLROnPlateau

• torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10, verbose=False, threshold=0.0001, threshold_mode='rel', cooldown=0, min_lr=0, eps=1e-08)
  • 当某指标不再变化（下降或升高），调整学习率，这是非常实用的学习率调整策略。例如，当验证集的 loss 不再下降时，进行学习率调整；或者监测验证集的 accuracy，当accuracy 不再上升时，则调整学习率。
  • 参数
    • mode(str)：模式选择，有min和max两种模式，min 表示当指标不再降低(如监测loss)，max 表示当指标不再升高(如监测accuracy)
    • factor(float)：学习率调整倍数(等同于其它方法的 gamma)
    • patience(int)：即忍受该指标多少个 step 不变化，当忍无可忍时，调整学习率
    • verbose(bool)：是否打印学习率信息
    • threshold(float)：Threshold for measuring the new optimum，配合 threshold_mode 使用。
    • threshold_mode(str)：选择判断指标是否达最优的模式，有两种模式，rel和abs。
    • cooldown(int)：“冷却时间“，当调整学习率之后，让学习率调整策略冷静一下，让模型再训练一段时间，再重启监测模式。
    • min_lr(float or list)：学习率下限，可为 float，或者 list，当有多个参数组时，可用 list 进行设置。
    • eps(float)：学习率衰减的最小值，当学习率变化小于eps时，则不调整学习率。

---

5.6 lr_scheduler.LambdaLR

• torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch=-1)
  • 为不同参数组设定不同学习率调整策略。调整规则为，lr = base_lr * lambda(self.last_epoch)
  • 参数
    • lr_lambda(fuction or list)：一个计算学习率调整倍数的函数，输入通常为step，当有多个参数组时，设为list
    • last_epoch(int)：上一个epoch数，用来指示学习率是否需要调整，当last_epoch符合设定的间隔时，就会对学习率进行调整。当为-1时，学习率设置为初始值。

---