本文主要基于pytorch深度学习框架,介绍两种常用的调整学习率的方法。
一是根据固定epoch次数进行学习率的调整,比如30个epoch过后调整一次学习率参数;
二是更加自由地在多少个epoch的时候对学习率进行调整。
我们主要是利用torch.optim.lr_scheduler模块进行实现。
1、lr_scheduler.StepLR()
from torch.optim import lr_scheduler
exp_lr_scheduler = lr_scheduler.StepLR(optimizer, step_size=step_size, gamma=0.1)
更新策略:每过step_size个epoch,做一次学习率更新,更新后的学习率为:new_lr = initial_lr *gamma
其中optimizer参数为优化器,需要提前设定,例如:SGD、Adam等
2、lr_scheduler.MultiStepLR()
from torch.optim import lr_scheduler
milestones = [40,60,80]
exp_lr_scheduler = lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1)
更新策略:每遇到milestones中的epoch,做一次学习率更新,更新后的学习率为:
new_lr = initial_lr *gamma
最后在epoch训练中使用exp_lr_scheduler.step(),根据epoch的数值进行学习率的调整。
日常学习记录,一起交流讨论吧!侵权联系~