pytorch动态调整学习率torch.optim.lr_scheduler import MultiStepLR

于 2023-06-27 22:18:20 发布
阅读量518 收藏 1
点赞数
分类专栏： Pytorch 文章标签： pytorch 学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42256930/article/details/131426325
版权
文章介绍了在PyTorch中如何使用MultiStepLR学习率调度器，通过在预设的epoch里程碑上衰减学习率来优化模型训练过程。示例展示了配置优化器为SGD后，如何在epoch10,15,25,30时将学习率降低10%。
摘要由CSDN通过智能技术生成

from torch.optim.lr_scheduler import MultiStepLR

简单来说，就是分阶段调整学习率．

  • 用法：
model = ANet(classes=5)     #加载模型
optimizer = optim.SGD(params = model.parameters(), lr=0.05)   #优化方法使用SGD

#在指定的epoch值，如[10,15，25，30]处对学习率进行衰减，lr = lr * gamma
scheduler = lr_scheduler.MultiStepLR(optimizer, milestones=[10,15，25，30], gamma=0.1)

下图更直观
在这里插入图片描述
参考链接：

https://blog.csdn.net/guzhao9901/article/details/116484887

Mariooooooooooo
关注
专栏目录
pytorch学习笔记十六：torch.optim.lr_scheduler动态调整学习率
耐心的小黑的博客
08-30 2391
有篇文章总结的很全面，下面将其贴出来： 传送门：pytorch中的学习率调整函数
Pytorch笔记——学习率的调整torch.optim.lr_scheduler
神仙院B栋4楼保安的博客
09-19 1044
参考资料：官方文档 在训练网络的时候需要根据不同的训练阶段对网络的学习率进行调整，以得到较好的训练效果，有时候会觉得手动调整学习率的过程比较枯燥繁重，可以考虑尝试一下pytorch中的orch.optim.lr_scheduler的模块对学习率进行调整。这里介绍几个个人目前用的比较多的。 ReduceLROnPlateau 这是我目前用的最多的学习率调度器。这一调度器的作用是在某一指标没有被改善的时候降低学习率。 torch.optim.lr_scheduler.ReduceLROnPlateau(opti
Python 中的 torch.optim.lr_scheduler 模块
最新发布
Z2572862506的博客
01-31 1334
Python 中的 torch.optim.lr_scheduler 模块
Pytorch中torch.optim.lr_scheduler.MultiStepLR
欢迎来到道的世界
03-22 8248
1.官方介绍   torch.optim.lr_scheduler.MultiStepLR表示按需求有外部设置调整学习率。具体参数如下： optimizer(Optimizer)optimizer(Optimizer)optimizer(Optimizer)：优化器 milestones(list)milestones(list)milestones(list)：lr改变时的epoch数目 gamma(float)gamma(float)gamma(float)：学习率调整倍数，默认为0.1，即下降10倍
torch.optim.lr_scheduler.MultiStepLR
Mr_Lowbee的博客
11-20 1518
torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1) milestones为一个数组，如 [50,70]. gamma为倍数。如果learning rate开始为0.01 ，则当epoch为50时变为0.001，epoch 为70 时变为0.0001。 当last_epoch=-1,设定为初始lr 用法 optimizer = torch.optim.Adam(net.parameters
torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1)
qq_40723205的博客
03-08 903
import torch import torchvision learing_rate = 0.1 model = torchvision.models.resnet18() optimizer = torch.optim.SGD(model.parameters(), lr=learing_rate, momentum=0.9, weight_decay=5e-5) scheduler =.
pytorch动态调整学习率torch.optim.lr_scheduler.MultiStepLR()
u013925378的博客
04-03 1万+
pytorch中动态调整学习率的函数：torch.optim.lr_scheduler.MultiStepLR() 例如： milestones= [50,70] torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1) 说明： 1）milestones为一个数组，如 [50,...
torch.optim.lr_scheduler--学习率调整总结
weixin_44543648的博客
01-21 5967
参考链接：https://blog.csdn.net/qyhaill/article/details/103043637 调用例子： import torch import torch.nn as nn from torch.optim.lr_scheduler import LambdaLR initial_lr = 5 class model(nn.Module): def __init__(self): super().__init__() self.con
torch.optim.lr_scheduler：调整学习率之CosineAnnealingWarmRestarts()参数说明
qq_37612828的博客
08-25 1万+
参考博主关于torch学习率调整的文章，写的非常好。https://blog.csdn.net/qyhaill/article/details/103043637，但是CosineAnnealingWarmRestarts()学习率调整博主没有写，在此借用博主的代码，补充一下此函数的学习率调整曲线。对于此函数，官方解释如下：链接地址https://pytorch.org/docs/stable/optim.html 函数名跟CosinAnnealingLR()相近，参数有两个不一样，T_0就是初始re
pytorch torch.optim.lr_scheduler 调整学习率的六种策略
baoxin1100的博客
07-19 4025
pytorch torch.optim.lr_scheduler 调整学习率的六种策略 1. 为什么需要调整学习率 在深度学习训练过程中，最重要的参数就是学习率，通常来说，在整个训练过层中，学习率不会一直保持不变，为了让模型能够在训练初期快速收敛，学习率通常比较大，在训练末期，为了让模型收敛在更小的局部最优点，学习率通常要比较小。 2. 学习率的初始值设置 其实，不同的任务学习率的初始值是需要试验几次来获得的，使用的优化器不同，mini-batch 的 batch_size 大小不同，学习率的初始值也不太相
torch.optim.lr_scheduler.MultiStepLR()用法研究 台阶/阶梯学习率
jiongta9473的博客
01-09 1万+
torch.optim.lr_scheduler.MultiStepLR(optimizer,milestones,gamma=0.1,last_epoch=-1,verbose=False) 我自已用代码研究了一遍MultiStepLR()中的last_epoch参数，发现就是个垃圾。 结论： ①last_epoch就是个鸡肋的东西 ②会在milestone的时候乘以gamma的平方 实验代码如下： 1、首先是默认配置： import torch import torchvisio....
pytorch笔记：调整学习率（torch.optim.lr_scheduler）
qq_40206371的博客
08-25 1万+
1 概述 torch.optim.lr_scheduler模块提供了一些根据epoch训练次数来调整学习率（learning rate）的方法。一般情况下我们会设置随着epoch的增大而逐渐减小学习率从而达到更好的训练效果。 2lr_scheduler调整策略举例 2.1torch.optim.lr_scheduler.LambdaLR torch.optim.lr_scheduler.LambdaLR( optimizer, lr_lambda, last_ep...
pytorch-学习率调整-torch.optim.lr_scheduler
yywxl的博客
12-02 7930
文章目录`torch.optim.lr_scheduler` torch.optim.lr_scheduler pytorch提供了以下学习率调整的方式，转自pytorch官网 Prior to PyTorch 1.1.0, the learning rate scheduler was expected to be called before the optimizer’s update; 1...
PyTorch torch.optim.lr_scheduler.CyclicLR
欢迎来到道的世界
03-22 3475
1.出处介绍   CyclicLR循环学习率出自于论文《Cyclical Learning Rates for Training Neural Networks》；与之前的固定或者单调递减的学习率不同，这是周期性变化。有三个参数：上边界max_lr，下边界base_lr，补长stepsize ...
Pytorch学习笔记调整学习率torch.optim.lr_scheduler._LRScheduler
子燕若水的博客
03-30 7345
0. 写在前面 PyTorch 在torch.optim.lr_scheduler中提供了十种调整学习率的类，它们的基类为torch.optim.lr_scheduler._LRScheduler。 这里记常用的一些。详尽的参考PyTorch 官方文档。 1. StepLR StepLR类，按固定间隔调整学习率 lr = lr \times gammalr=lr×gamma import matplotlib.pyplot as plt import se...
torch.optim.lr_scheduler.StepLR()函数
Z2572862506的博客
01-11 2774
torch.optim.lr_scheduler.StepLR()函数
PyTorch系列 | 学习率调整方法（torch.optim.lr_scheduler）
weixin_48249563的博客
03-25 5231
https://pytorch.org/docs/stable/optim.html#how-to-adjust-learning-rate
Pytorch（0）降低学习率torch.optim.lr_scheduler.ReduceLROnPlateau类
热门推荐
DavidZh
11-21 4万+
当网络的评价指标不在提升的时候，可以通过降低网络的学习率来提高网络性能。所使用的类 class torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10, verbose=False, threshold=0.0001, threshold_mode='rel', coold...
PyTorch学习笔记：torch.optim---Optimizer以及lr_scheduler
Codefmeister's BLOG
11-14 4555
本文参考 lr_scheduler介绍 以及 PyTorch optim文档 1 概述 1.1 PyTorch文档：torch.optim解读 下图是optim的文档 TORCH.OPTIM torch.optim is a package implementing various optimization algorithms. Most commonly used methods are already supported, and the interface is general enoug.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值