pytorch调整模型学习率

已于 2023-06-29 16:01:05 修改
阅读量1.6k 收藏 6
点赞数 3
分类专栏： Pytorch学习 文章标签： python 人工智能 机器学习
于 2022-08-09 15:59:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40210586/article/details/126242252
版权

目录

1.定义衰减函数

[Source code]

定义learning rate衰减方式：
L R e p o c h = L R 0 × 0. 8 e p o c h + 1 10 LR_{epoch}=LR_{0}\times 0.8^{\frac{epoch+1}{10}} LRepoch​=LR0​×0.810epoch+1​

import matplotlib.pyplot as plt
from torch import nn
import math
from torch import optim

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.net = nn.Linear(10,10)
    def forward(self, input):
        out = self.net(input)
        return out

learning_rate = 1e-3
L2_DECAY = 5e-4
MOMENTUM = 0.9

def step_decay(epoch, learning_rate):
    """
    Schedule step decay of learning rate with epochs.
    """
    initial_learning_rate = learning_rate
    drop = 0.8
    epochs_drop = 10.0
    learning_rate = initial_learning_rate * math.pow(drop, math.floor((1 + epoch) / epochs_drop))

    return learning_rate

model = Net()
LR = 0.01
lr_list = []
for epoch in range(100):
    current_lr = step_decay(epoch, learning_rate)
    optimizer = torch.optim.SGD(model.parameters(), lr=current_lr)
    lr_list.append(current_lr)
plt.plot(range(100), lr_list, color = 'r')
plt.show()

绘出的lr更新曲线如下所示:
请添加图片描述

2. 手动修改optinmizer中的lr

[source code]

import matplotlib.pyplot as plt
from torch import nn
import torch
 
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.net = nn.Linear(10,10)
    def forward(self, input):
        out = self.net(input)
        return out
 
model = Net()
LR = 0.01
optimizer = torch.optim.Adam(model.parameters(), lr = LR)
lr_list = []
for epoch in range(100):
    if epoch % 5 == 0:
        for p in optimizer.param_groups:
            p['lr'] *= 0.9 # 学习率调整为原来的0.9
    lr_list.append(optimizer.state_dict()['param_groups'][0]['lr'])
plt.plot(range(100), lr_list, color = 'r')
plt.show()

学习率每个epoch变为原来的0.9，衰减曲线如下图所示：
在这里插入图片描述

Pytorch中给了很多学习率衰减的函数，我们不需要自己定义也可以动态调整学习率。

3. lr_scheduler.LambdaLR

如何在pytorch中调整lr具体请参考Pytorch文档How to adjust learning rate

CLASS torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch=- 1, verbose=False)

import numpy as np
import torch
from torch import nn
import matplotlib.pyplot as plt

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.net = nn.Linear(10,10)
    def forward(self, input):
        out = self.net(input)
        return out
 
model = Net()
lr_list = []
LR = 0.01
optimizer = torch.optim.Adam(model.parameters(), lr = LR)
lambda1 = lambda epoch: 0.95 ** epoch
scheduler = torch.optim.lr_scheduler.LambdaLR(optimizer,lr_lambda = lambda1)
for epoch in range(100):
    optimizer.zero_grad() # clear previous gradients
    optimizer.step() # performs updates using calculated gradients
    scheduler.step() # update lr
    lr_list.append(optimizer.state_dict()['param_groups'][0]['lr'])
plt.plot(range(100),lr_list,color = 'r')
plt.show()

学习率衰减如图所示：
在这里插入图片描述

4. lr_scheduler.StepLR

CLASS torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1, verbose=False)
  • step_size: lr的衰减步长
  • gamma: lr衰减的乘法因子

每隔step_size个epoch，学习率变为原来的gamma，例如，step_size设置为30，初始学习率设置为0.05，学习率变化如下所示：

>>> # Assuming optimizer uses lr = 0.05 for all groups
>>> # lr = 0.05     if epoch < 30
>>> # lr = 0.005    if 30 <= epoch < 60
>>> # lr = 0.0005   if 60 <= epoch < 90
>>> # ...
>>> scheduler = StepLR(optimizer, step_size=30, gamma=0.1)
>>> for epoch in range(100):
>>>     train(...)
>>>     validate(...)
>>>     scheduler.step()

import numpy as np
import torch
from torch import nn
import matplotlib.pyplot as plt

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.net = nn.Linear(10,10)
    def forward(self, input):
        out = self.net(input)
        return out
 
model = Net()
lr_list = []
LR = 0.01
optimizer = torch.optim.Adam(model.parameters(), lr = LR)
lambda1 = lambda epoch: 0.95 ** epoch
scheduler = torch.optim.lr_scheduler.StepLR(optimizer,step_size=5,gamma = 0.8)
for epoch in range(100):
    optimizer.zero_grad() # clear previous gradients
    optimizer.step() # performs updates using calculated gradients
    scheduler.step() # update lr
    lr_list.append(optimizer.state_dict()['param_groups'][0]['lr'])
plt.plot(range(100),lr_list,color = 'r')
plt.show()

学习率衰减曲线如下所示：
在这里插入图片描述

5. lr_scheduler.ExponentialLR

CLASStorch.optim.lr_scheduler.ExponentialLR(optimizer, gamma, last_epoch=- 1, verbose=False)
  • gamma: 学习率衰减乘数因子

import numpy as np
import torch
from torch import nn
import matplotlib.pyplot as plt

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.net = nn.Linear(10,10)
    def forward(self, input):
        out = self.net(input)
        return out
 
model = Net()
lr_list = []
LR = 0.01
optimizer = torch.optim.Adam(model.parameters(), lr = LR)
lambda1 = lambda epoch: 0.95 ** epoch
scheduler = torch.optim.lr_scheduler.ExponentialLR(optimizer,gamma = 0.8)
for epoch in range(100):
    optimizer.zero_grad() # clear previous gradients
    optimizer.step() # performs updates using calculated gradients
    scheduler.step() # update lr
    lr_list.append(optimizer.state_dict()['param_groups'][0]['lr'])
plt.plot(range(100),lr_list,color = 'r')
plt.show()

学习率曲线如下图所示:
在这里插入图片描述

6. lr_scheduler.CosineAnnealingLR

torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max, eta_min=0, last_epoch=- 1, verbose=False)

只需传入T_max即可，T_max为最大训练epoch

import numpy as np
import torch
from torch import nn
import matplotlib.pyplot as plt

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.net = nn.Linear(10,10)
    def forward(self, input):
        out = self.net(input)
        return out
 
model = Net()
lr_list = []
LR = 0.01
optimizer = torch.optim.Adam(model.parameters(), lr = LR)
scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer,100)
for epoch in range(500):
    optimizer.zero_grad() # clear previous gradients
    optimizer.step() # performs updates using calculated gradients
    scheduler.step() # update lr
    lr_list.append(optimizer.state_dict()['param_groups'][0]['lr'])
plt.plot(range(100),lr_list,color = 'r')
plt.show()

在这里插入图片描述

注意，如果相打印每一个epoch的当前学习率，官网中说的方法是调用print_Lr()，但实际上pytorch中并没有该方法，我们需要使用get_last_lr()方法才能打印每一个epoch的学习率。

更多学习率调整方法的介绍可以参考文档.

References:

[1] https://github.com/agrija9/Deep-Unsupervised-Domain-Adaptation/tree/master/DDC
[2] Pytorch学习率lr衰减(decay)(scheduler)

在pytorch中动态调整优化器的学习率方式
12-17
在深度学习中，经常需要动态调整学习率，以达到更好地训练效果，本文纪录在pytorch中的实现方法，其优化器实例为SGD优化器，其他如Adam优化器同样适用。 一般来说，在以SGD优化器作为基本优化器，然后根据epoch实现学习率指数下降，代码如下: step = [10,20,30,40] base_lr = 1e-4 sgd_opt = torch.optim.SGD(model.parameters(), lr=base_lr, nesterov=True, momentum=0.9) def adjust_lr(epoch): lr = base_lr * (0.1 ** np.su
Pytorch中的学习率调整方法
热门推荐
简简单单的学习笔记，致力于帮助更多前进路上的朋友~
02-06 1万+
一. 手动调整optimizer中的lr参数 二. 利用lr_scheduler()提供的几种衰减函数 三. 注意
PyTorch中，动态调整学习率（Learning Rate Scheduling），也可以根据损失函数的损失数值自动调整学习率
最新发布
09-01 1652
## 使用现有学习率调度器的参数PyTorch中的每个学习率调度器都提供了一系列的参数，可以通过设置这些参数来调整学习率的行为。以下是一些常见的学习率调度器及其参数的例子：```python``````python``````python``````python``````python``````python```### 创建完全自定义的学习率调度器。
PyTorch的六个学习率调整
涂作权的博客
02-10 1357
本文截取自《PyTorch 模型训练实用教程》，获取全文pdf请点击：https://github.com/tensor-yu/PyTorch_Tutorial 文章目录 一、pytorch中六种学习率调整方法 1.lr_scheduler.StepLR 2.lr_scheduler.MultiStepLR 3.lr_scheduler.ExponentialLR 4.lr_scheduler.CosineAnnealingLR 5.lr_scheduler.ReduceLROnPlateau 6.lr_s
Pytorch lr_scheduler 调整学习率
Go_ahead_forever的博客
07-10 1240
Pytorch lr_scheduler 调整学习率
pytorch 实现模型不同层设置不同的学习率方式
09-18
通常我们希望在训练初期采用较大的学习率来加快收敛速度，在训练的后期则逐渐降低学习率以精细调整模型参数。 ### 2. 特征提取网络和分类网络 在目标检测模型中，通常可以将整个网络分为两个主要部分：特征提取网络...
pytorch实现查看当前学习率
09-16
在PyTorch中，训练深度学习模型时，学习...总的来说，PyTorch提供了灵活的方式来管理和调整学习率，这使得我们可以更精细地控制模型的训练过程，从而提高模型的性能。理解并熟练运用这些技巧是优化模型训练的关键步骤。
PyTorch深度学习实战（9）——学习率优化
盼小辉丶的博客
08-06 3167
学习率( learning rate )是神经网络训练中一个重要的超参数，用于控制模型更新参数的步长大小，它决定了每次迭代中模型参数更新的幅度。学习率的选择对于训练的结果具有重要影响，学习率过高会导致模型震荡不收敛甚至发散，无法有效优化目标函数；而学习率过低则会导致收敛速度缓慢，需要更多的迭代才能达到较好的效果。本节首先介绍学习率如何影响模型训练，并通过修改学习率观察不同学习率对模型性能的影响。
pytorch技巧总结1：学习率调整方法
weixin_46676835的博客
06-24 3740
pytorch技巧总结1：学习率调整方法
pytorch08：学习率调整策略
慕溪同学的博客
01-05 1722
我们可以设置学习率逐渐从小变大观察精确度的一个变化，下面这幅图，当学习率为0.055左右的时候模型精确度最高，当学习率大于0.055的时候精确度出现下降情况，所以在模型训练过程中我们可以设置学习率为0.055作为我们的初始学习率。一般在模型训练过程中，在开始训练的时候我们会设置学习率大一些，随着模型训练epoch的增加，学习率会逐渐设置小一些。功能：监控指标，当指标不再变化则调整，例如：可以监控我们的loss或者准确率，当其不发生变化的时候，调整学习率。调整方式：lr = lr * gamma。
pytorch中的学习率调整策略
abczvzbbsbs的博客
05-10 370
这个文章讲的好。Pytorch中的学习率调整方法_卡卡南安的博客-CSDN博客_pytorch调整学习率
pytorch中模型训练的学习率动态调整
zly_Always_be的博客
04-17 1276
pytorch中模型训练的学习率动态调整
PyTorch 学习率调整的几个方法
feizai1208917009的博客
12-19 381
https://blog.csdn.net/u011995719/article/details/89486359
深度学习：Pytorch最全面学习率调整策略lr_scheduler
博学而笃志，切问而近思。
07-24 4908
深度学习：Pytorch最全面学习率调整策略lr_scheduler
pytorch 学习率调整策略
qq_44976409的博客
08-27 266
学习率调整策略 学习率直接控制参数更新的步伐。 通常在训练中，一开始学习率可以给的比较大，让参数更新的步伐大一些。后期，让学习率小一些，让参数更新的步伐小一些。 学习率调整是以epoch为周期的。千万不要在iteration中。 在pytorch中提供了很好的学习率调整策略。这六种策略都是继承于_LRScheduler这个基类。所以，我们先来学这个类的基本属性和基本方法。 optimizer:关联的优化器。在讲优化器的时候，我们知道，在优化器中才存放学习率。而_LRScheduler会去修改优化器中的学习率
（深度学习）pytorch中常用的动态调整学习率函数
weixin_64388392的博客
11-19 945
为什么要动态调整学习率以及常用的动态调整学习率函数
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值