pytorch学习率的调整方法

本文主要基于pytorch深度学习框架，介绍两种常用的调整学习率的方法。

一是根据固定epoch次数进行学习率的调整，比如30个epoch过后调整一次学习率参数；
二是更加自由地在多少个epoch的时候对学习率进行调整。

我们主要是利用torch.optim.lr_scheduler模块进行实现。

1、lr_scheduler.StepLR()

from torch.optim import lr_scheduler

exp_lr_scheduler = lr_scheduler.StepLR(optimizer, step_size=step_size, gamma=0.1)

更新策略：每过step_size个epoch，做一次学习率更新，更新后的学习率为：new_lr = initial_lr *gamma
其中optimizer参数为优化器，需要提前设定，例如：SGD、Adam等

2、lr_scheduler.MultiStepLR()

from torch.optim import lr_scheduler

milestones = [40,60,80]
exp_lr_scheduler = lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1)

更新策略：每遇到milestones中的epoch，做一次学习率更新，更新后的学习率为：
new_lr = initial_lr *gamma

最后在epoch训练中使用exp_lr_scheduler.step()，根据epoch的数值进行学习率的调整。

日常学习记录，一起交流讨论吧！侵权联系~