yolov8逐步分解(7)_模型训练初始设置之优化器Optimizer及学习率调度器Scheduler初始化

yueguang8

已于 2024-05-30 08:39:10 修改

阅读量4.3k

点赞数 47

分类专栏： yolo算法文章标签： YOLO 人工智能深度学习

于 2024-05-29 15:01:30 首次发布

本文链接：https://blog.csdn.net/yueguang8/article/details/139295621

版权

yolov8逐步分解(1)--默认参数&超参配置文件加载

yolov8逐步分解(2)_DetectionTrainer类初始化过程

yolov8逐步分解(3)_trainer训练之模型加载

YOLOV8逐步分解(4)_模型的构建过程

YOLOV8逐步分解(5)_模型训练初始设置之混合精度训练AMP

YOLOV8逐步分解(6)_模型训练初始设置之image size检测batch预设及dataloder初始化

接逐步分解（6），继续模型训练初始设置的讲解，本章将讲解优化器Optimizer及学习率调度器Scheduler的初始代码。

1.优化器Optimizer

关于优化器的介绍可以参考文章深度学习之优化器Optimizer介绍

        # Optimizer
        self.accumulate = max(round(self.args.nbs / self.batch_size), 1)  # accumulate loss before optimizing
        weight_deca

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

yueguang8

关注关注

47
点赞
踩
21

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

yolov8涨点系列之优化器替换

zhang1379的博客

11-02

1571

yolov8涨点系列之优化器替换

m0_47867638的博客

04-20

2246

在大家还沉浸在ChatGPT和SAM这些大模型领域的时候，谷歌最新的优化器已经把BASIC-L，送上了第一。按照论文的说法，使用Lion后，普遍有2%的涨幅。太吊了！！！这篇文章我们将Lion引入YoloV8。首先是论文翻译，接下来，告诉大家如何将LIon加入到YoloV8，已经改进过程中遇到的问题。然后，比对结果。最后，做出总结。本文提出一种将算法发现表述为程序搜索的方法，并将其应用于发现用于深度神经网络训练的优化算法。利用高效的搜索技术来探索无限和稀疏的程序空间。

参与评论您还未登录，请先登录后发表或查看评论

提升篇 | 优化YOLOv8以加快推理速度

Warmer_Sweeter

11-25

3145

点击下方卡片，关注“小白玩转Python”公众号为了一项研究，我需要减少YOLOv8的推理时间。在这项研究中，我使用了自己的电脑而不是Google Colab。我的电脑有一个Intel i5（第12代）处理器，我的GPU是NVIDIA GeForce RTX 3050。这些信息很重要，因为我在一些方法中使用了CPU，在其他方法中使用了GPU。原始模型使用情况为了测试，我们使用了Ultralytic...

YOLOv8 的部署与优化

weixin_52603404的博客

03-07

1061

YOLOv8 作为当前先进的目标检测、实例分割和分类模型，不仅在训练和推理方面表现出色，还支持多种部署平台和优化方法，以满足不同的应用场景。本文将详细介绍 YOLOv8 的部署方式，包括 OpenVINO、ONNX Runtime、TensorRT，以及如何进行模型优化，以实现更快的推理速度和更低的计算资源占用。一、YOLOv8 模型导出（Export）在部署之前，需要先将 YOLOv8 训练得到的模型转换为适用于不同推理框架的格式。ONNX（适用于 ONNX Runtime、TensorRT）

YOLOv8默认使用的优化器是什么？optimizer默认值auto指定的是什么优化器？

阿旭的博客

09-27

5052

YOLOv8默认使用的优化器是什么？optimizer默认值auto指定的是什么优化器？

Yolov8+Lion优化器

weixin_44505813的博客

08-15

2128

yolov8+lion

【9】yolov8目标检测模型改进之替换Lion优化器

m0_45426637的博客

09-05

3031

最近在使用yolov8网络模型来训练自己的数据集并需要对其进行改进优化；就想着从简单的更换优化器来试试对训练效果有没有一些好的效果。找到了最近比较热并且是最新的优化器Lion。论文：https://arxiv.org/abs/2302.06675代码：https://github.com/google/automl/blob/master/lion/lion_pytorch.py。

优化器篇 | YOLOv8 引入谷歌 Lion 优化器 | 《Symbolic Discovery of Optimization Algorithms》

YOLOv8项目贡献者

06-18

4268

谷歌 Lion 优化器添加教程

optimizer和scheduler

cyclohexene的博客

11-02

1253

optimizer指定使用哪个优化器；scheduler对优化器的学习率进行调整。

Optimizer和Scheduler

博客

04-02

2359

Optimizer和Scheduler是深度学习中非常重要的两个概念，它们的作用是优化模型的训练过程。

YOLOv8 引入谷歌 Lion 优化器：提速、优化、卓越！

一直在水些技术小文

11-09

1104

Lion 优化器是谷歌公司最近提出的一种优化算法，它旨在提高深度学习模型的训练效率和性能。Lion 优化器基于均方误差和一种新型的梯度方向方法，能够更好地处理复杂的损失函数和训练数据，从而提高模型的泛化能力。

【Python】科研代码学习：十一 Optimization (Optimizer, Scheduler)

溢流眼泪的博客

03-13

1934

无需我们自己创建一个调度器，HF会按照输入的调度器名字，自动创建对应的调度器。相当于，我们通过这个类似枚举类，来指明我们使用的是哪种调度器。可以看一下，有线性的，余弦的，多项式的，常数的，带预热的等。按照这里的学习文章，说一下重要的内容，比如这个是带预热的余弦调度器。首先最重要的一个，是。

超详解| Yolov8模型手把手调参 | 配置 | 模型训练 | 验证 | 推理

最新发布

03-30

### 学习率调度器的用法与配置 学习率调度器（Scheduler）是深度学习训练过程中的重要工具之一，其主要功能在于动态调整优化器的学习率，从而提升模型的收敛速度、稳定性以及最终性能。以下是关于如何使用和配置学习率调度器的具体说明。 #### 1. 配置基本参数在 PyTorch 中，`StepLR` 是一种常见的学习率调度器，它的核心参数包括 `step_size` 和 `gamma`。 - 参数 `step_size` 控制每隔多少个 epoch 调整一次学习率[^4]。 - 参数 `gamma` 则定义了每次调整时学习率的衰减比例。例如，在初始化 `StepLR` 调度器时可以这样设置： ```python import torch.optim as optim optimizer = optim.SGD(model.parameters(), lr=0.01) scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=20, gamma=0.8) ``` 上述代码表示每经过 20 个 epoch 后，当前学习率将以 0.8 的倍数递减。 --- #### 2. 动态更新学习率 为了使学习率随训练进程变化，需在每个 epoch 结束后调用调度器的 `.step()` 方法来触发学习率的变化： ```python for epoch in range(num_epochs): train_model() # 训练模型逻辑 validate_model() # 验证模型逻辑 scheduler.step() # 更新学习率 ``` 通过这种方式，可以在不同阶段自动调节学习率，满足不同的训练需求[^2]。 --- #### 3. 更复杂的调度策略除了简单的步进式调度外，PyTorch 还提供了其他多种类型的调度器以适应更多场景的需求。下面列举几种常用的方法及其特点： ##### (1) **ExponentialLR** 指数方式降低学习率，适合希望平滑减少学习率的情况。 ```python scheduler = optim.lr_scheduler.ExponentialLR(optimizer, gamma=0.9) ``` 这里 `gamma` 定义了每次迭代后的学习率缩放因子。 ##### (2) **ReduceLROnPlateau** 基于验证指标的表现决定是否降低学习率，适用于需要监控特定条件下的情况。 ```python scheduler = optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10) ``` 此方法会在验证损失不再下降的情况下逐渐缩小学习率。 ##### (3) **CosineAnnealingLR** 采用余弦退火的方式改变学习率，有助于探索更大的超参空间。 ```python scheduler = optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=50) ``` 其中 `T_max` 表示周期长度。 --- #### 4. 自定义调度器 如果内置选项无法完全匹配具体应用场景，则可以通过继承 `torch.optim.lr_scheduler._LRScheduler` 类来自定义调度行为。例如： ```python class CustomScheduler(optim.lr_scheduler._LRScheduler): def __init__(self, optimizer, last_epoch=-1): super(CustomScheduler, self).__init__(optimizer, last_epoch) def get_lr(self): return [base_lr * math.pow(0.95, self.last_epoch) for base_lr in self.base_lrs] # 初始化自定义调度器 custom_scheduler = CustomScheduler(optimizer) ``` 这种灵活性允许开发者针对特殊任务设计专属方案[^3]。 --- ### 总结合理运用学习率调度器能够显著改善深度学习模型的训练表现。无论是基础的固定间隔调整还是高级的动态响应机制，都应依据实际项目背景选取最合适的策略[^1]。