史上最全学习率调整策略lr_scheduler

cwpeng.cn

已于 2022-07-06 21:57:32 修改

阅读量1.8w

点赞数 36

分类专栏：深度学习基础技能文章标签：深度学习机器学习人工智能

于 2022-07-06 20:53:25 首次发布

本文链接：https://blog.csdn.net/weiman1/article/details/125647517

版权

学习率是深度学习训练中至关重要的参数，很多时候一个合适的学习率才能发挥出模型的较大潜力。所以学习率调整策略同样至关重要，这篇博客介绍一下Pytorch中常见的学习率调整方法。

import torch
import numpy as np
from torch.optim import SGD
from torch.optim import lr_scheduler
from torch.nn.parameter import Parameter

model = [Parameter(torch.randn(2, 2, requires_grad=True))]
optimizer = SGD(model, lr=0.1)

以上是一段通用代码，这里将基础学习率设置为0.1。接下来仅仅展示学习率调节器的代码，以及对应的学习率曲线。

1. StepLR

这是最简单常用的学习率调整方法，每过step_size轮，将此前的学习率乘以gamma。

scheduler=lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.1)

在这里插入图片描述

2. MultiStepLR

MultiStepLR同样也是一个非常常见的学习率调整策略，它会在每个milestone时，将此前学习率乘以gamma。

scheduler = lr_scheduler.MultiStepLR(optimizer, milestones=[30,80], gamma=0.5)

在这里插入图片描述

3. ExponentialLR

ExponentialLR是指数型下降的学习率调节器，每一轮会将学习率乘以gamma，所以这里千万注意gamma不要设置的太小，不然几轮之后学习率就会降到0。

scheduler=lr_scheduler.ExponentialLR(optimizer, gamma=0.9)

在这里插入图片描述

4. LinearLR

LinearLR是线性学习率，给定起始factor和最终的factor，LinearLR会在中间阶段做线性插值，比如学习率为0.1，起始factor为1，最终的factor为0.1，那么第0次迭代，学习率将为0.1，最终轮学习率为0.01。下面设置的总轮数total_iters为80,所以超过80时，学习率恒为0.01。

scheduler=lr_scheduler.LinearLR(optimizer,start_factor=1,end_factor=0.1,total_iters=80)

在这里插入图片描述

5. CyclicLR

scheduler=lr_scheduler.CyclicLR(optimizer,base_lr

最低0.47元/天解锁文章