小知识点系列(十八) 本文(3万字) | 解读Pytorch优化器机制 | Optimizer | 各类优化器 | 各类学习率调整策略 |

最新推荐文章于 2024-07-09 18:45:27 发布
最新推荐文章于 2024-07-09 18:45:27 发布
阅读量904 收藏 19
点赞数 27
文章标签： pytorch 人工智能 深度学习 YOLO 优化器 Optimizer 学习率调整策略
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44302770/article/details/135308661
版权
人工智能专栏计划 专栏收录该内容
141 篇文章 7 订阅

已下架不支持订阅

点击进入专栏：
《人工智能专栏》 Python与Python | 机器学习 | 深度学习 | 目标检测 | YOLOv5及其改进 | YOLOv8及其改进 | 关键知识点 | 各种工具教程

文章目录

  • 简介与解读基本概念
    • 一、优化器
      • 1. Optimizer机制
      • 2. Optimizer基本属性
      • 3. Optimizer基本方法
      • 4. param_groups
      • 1）只训练模型的一部分参数
      • 2）不同部分的参数设置不同的学习率
    • 二、动态更新学习率
      • 1. 手动修改学习率
      • 2. torch.optim.lr_scheduler
    • 三、小结
  • SGD，RMSProp，Adam，AdamW解读
  • 各种动态学习率调整策略
    • 0 为什么引入学习率衰减？
    • 1 查看学习率
    • 2 最常用的针对全局的学习率设置
    • 3 针对不同层设置不一样的学习率
    • 4 手动设置自动衰减的学习率
    • 5 手动根据自定义列表进行学习率指定
    • 6 使用pytorch提供的学习率
      • 6.1 lr_scheduler.LambdaLR
      • 6.2 torch.optim.lr_scheduler.StepLR
      • 6.3 lr_scheduler.MultiStepLR
      • 6.4 lr_scheduler.ExponentialLR
      • 6.5 lr_scheduler.CosineAnnealingLR
      • 6.6 lr_scheduler.ReduceLROnPlateau
  • 推荐阅读：
    • 1. 机器学习
    • 2. 深度学习与目标检测
    • 3. YOLOv5
    • 4. YOLOv5改进
    • 5. YOLOv8及其改进
    • 6. Python与PyTorch
    • 7. 工具
    • 8. 小知识点
    • 9. 杂记

简介与解读基本概念

详解Optimizers

官方文档，推荐

学习率对于模型训练效果来说相当重要。

学习率过低会导致学习速度太慢，学习率过高又容易导致难以收敛。

因此，很多炼丹师都会采用动态调整学习率的方法。刚开始训练时，学习率大一点，以加快学习速度；之后逐渐减小来寻找最优解。

那么在Pytorch中，如何在训练过程里动态调整学习率呢？本文将带你深入理解优化器和学习率调整策略。

一、优化器

1. Optimizer机制

在介绍学习率调整方法之前

了解本专栏 已下架不支持订阅
小酒馆燃着灯
关注
  • 27
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录

已下架不支持订阅

Pytorch 如何更改模型学习率？
weixin_45913084的博客
03-31 965
Pytorch 如何更改模型学习率？最简单的方法
深度学习学习记录-优化器的学习率的更新
我的博客
07-21 950
以前自己写代码优化器的学习率总是设置为恒定不变的，现在想让优化器学习率随着epoch进行改变。本文使用Torch框架和Paddle框架对优化器的学习率进行更新。
pytorch 自定义损失函数、优化器（Optimizer）和学习率策略（Scheduler）
zhaohongfei_358的博客
07-14 7603
梯度下降回顾 Pytorch 实现梯度下降与参数更新 自定义损失函数 自定义优化器 自定义学习率策略 使用 `LambdaLR` 实现简单的学习率策略 通过继承 `_LRScheduler` 实现自定义的学习率策略 通过手动更新Optimizer中的学习率来自定义学习策略......
深度学习调参：优化算法，优化器optimizer，学习率learning rate
山上有只羊M
12-06 7828
学习率有什么用 学习率是深度学习中的一个重要的超参，如何调整学习率是训练出好模型的关键要素之一。 学习率决定了每步权重更新对当前权重的改变程度： 其中E(w)为我们优化的损失函数，η是学习率。 大小的对训练网络的影响 学习率太小，更新速度慢；学习率过大，可能跨过最优解。 因此，在刚开始训练，距离最优解较远时可以采用稍大的学习率，随着迭代次数增加，在逼近最优解的过程中，逐渐减小学习率。 太大容易出...
torch.optim.lr_scheduler：调整学习率
qyhaill的博客
11-13 11万+
本文是笔者在学习cycleGAN的代码时，发现其实现了根据需求选择不同调整学习率方法的策略，遂查资料了解pytorch各种调整学习率的方法。主要参考：https://pytorch.org/docs/stable/optim.html#how-to-adjust-learning-rate 1 综述 torch.optim.lr_scheduler模块提供了一些根据epoch训练次数来调整学习率（...
在pytorch中动态调整优化器的学习率方式
09-16
在PyTorch中，动态调整优化器的学习率是深度学习模型训练过程中常见的策略，它有助于在训练的不同阶段找到最优解。动态学习率调整可以改善模型的收敛速度和最终性能。这里我们将详细介绍如何在PyTorch中针对SGD优化...
022PyTorch中ReduceLROnPlateau的学习率调整优化器
08-08
022PyTorch中ReduceLROnPlateau的学习率调整优化器
PyTorch 激活函数、损失函数、优化器-谢TS的博客.pdf
07-17
- **Adagrad**：自适应学习率的优化器，每个参数的学习率会根据历史梯度大小动态调整。 - **RMSprop**：改进的SGD，通过平滑过去梯度的平方来调整学习率，避免陷入局部最小值。 - **Adam**：自适应矩估计，结合了...
pytorch-optimizer:torch-optimizer -- Pytorch 优化器的集合
07-23
火炬优化器 torch-optimizer -- 与模块兼容的优化器集合。简单的例子 import torch_optimizer as optim# model = ...optimizer = optim . DiffGrad ( model . parameters (), lr = 0.001 )optimizer . step ()安装...
【深度学习】Pytorch下直接更新Optimizer的学习率
qq_30017409的博客
11-18 5226
【深度学习】Pytorch下直接更新Optimizer的学习率 一般而言我们更新优化器的学习率可以通过Scheduler，但其实也可直接针对Optimizer对象修改学习率 首先我们定义一个优化器 import torch.optimizer as optim optimizer=optim.Adam(model.parameters,lr=0.01)#初始学习率为0.01 随后我们在epoch的循环中更新学习率 lr=get_epoch_lr(cur_epoch)#获取学习率 for param_gro
训练中动态调整学习率lr，optimizer.param_groups
bc521bc的博客
01-05 2万+
四、在训练中动态的调整学习率   1 2 3 4 5 6 7 8 9 '''调整学习率''' # 新建optimizer或者修改optimizer.params_groups对应的学习率 # # 新建optimizer更简单也更推荐，optimizer十分轻量级，所以开销很小 ...
动态调整模型中的学习率
fly_Xiaoma的博客
03-05 1548
调整模型中学习率的方法主要有： 一种是修改optimizer.param_groups中对应的学习率 另一种是新建优化器 注意：由于optimizer十分轻量级，构建开销很小，故可以构建新的optimizer。但新建优化器会重新初始化动量等状态信息，这对使用动量的优化器来说（如带momentum的sgd），可能会造成损失函数在收敛过程中出现震荡。 首先我们建立一个LeNet网络： imp...
机器学习：各种优化器Optimizer的总结与比较
热门推荐
SanFancsgo的博客
04-26 13万+
优化器总结 机器学习中，有很多优化方法来试图寻找模型的最优解。比如神经网络中可以采取最基本的梯度下降法。 梯度下降法(Gradient Descent) 梯度下降法是最基本的一类优化器，目前主要分为三种梯度下降法：标准梯度下降法(GD, Gradient Descent)，随机梯度下降法(SGD, Stochastic Gradient Descent)及批量梯度下降法(BGD, B...
【Pytorch】torchvision transforms
bryant_meng
07-06 294
【代码】【Pytorch】torchvision transforms。
【pytorch19】交叉熵
qq_45291280的博客
07-06 616
交叉熵
【pytorch18】Logistic Regression
qq_45291280的博客
07-06 865
逻辑回归模型
Transformer中的编码器和解码器结构有什么不同？
最新发布
qq_43642885的博客
07-09 694
Transformer背后的核心概念：注意力机制；编码器-解码器结构；多头注意力等；例如：The cat sat on the mat；1、嵌入：首先，模型将输入序列中的每个单词嵌入到一个高维向量中表示，这个嵌入过程允许模型捕捉单词之间的语义相似性。2、查询，键，和值向量；接下来，模型为序列中的每个单词计算向量：查询向量、键和值向量。在训练过程中，模型学习这些向量，每个向量都有不同的作用。查询向量表示单词的查询，即模型在序列中寻找的内容。键向量表示单词的键，即序列中其他单词应该注意的内容。
将pytorch 模型封装为c++ api 例子
东方佑
07-06 282
首先，在 Python 中定义并训练你的 PyTorch 模型。# 定义模型return x# 实例化模型# 定义损失函数和优化器# 训练模型（略）# ...# 保存模型为 TorchScript。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小酒馆燃着灯

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值