Yolov8+Lion优化器

最新推荐文章于 2024-08-03 10:12:46 发布
最新推荐文章于 2024-08-03 10:12:46 发布
阅读量1.7k 收藏 26
点赞数 13
分类专栏： YOLO 文章标签： YOLO python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44505813/article/details/132305743
版权
本文介绍了如何在Yolov8中整合Lion优化器，包括下载配置、导入LionPyTorch库、在trainer源码中应用以及使用Lion训练模型。作者分享了在实践中遇到的问题和提示，如可能的小批量训练效果不佳。
摘要由CSDN通过智能技术生成

**yolov8+Lion**

1.下载并配置yolov8

这里对于yolov8的detect和train的基本流程不做描述。
参考gitube地址：yolov8源码地址

2.导入Lion优化器

Lion
2023年2月，Google 和 UCLA 提出 Lion (EvoLved Sign Momentum) 优化算法，以优越的性能和良好的效果超越了经典的优化算法。Lion 通过程序搜索来发现优化算法，并且用其改进深度神经网络训练。

导入
在python终端中输入以下内容，导入Lion优化器

$ pip install lion-pytorch

参考gitube地址：lion-pytorch地址

3.在trainer源码中引入Lion优化器

项目目录中找到trainer.py
在这里插入图片描述
导入相应的包

from lion_pytorch import Lion

在这里插入图片描述
找到图中相应位置，添加相应代码。

elif name == 'Lion':
    optimizer = Lion(params=g[2], lr=lr, betas=(momentum, 0.999), weight_decay=decay)

在这里插入图片描述
此处的导入方式同样参考的是
gitube地址：lion-pytorch地址

4.使用Lion优化器训练模型

找到yolo目录下的default.yaml文件在这里插入图片描述
改变optimizer为Lion，然后开始训练模型即可。
在这里插入图片描述

Tips

  1. 本人使用coco数据集时，并没有得到比SGD等传统优化器好的结果，可能的原因是，虽然 Lion 有更强的鲁棒性和泛化能力，但它在小的 batch_size 时，表现不好，或者是本人导包导错了。
  2. 本人也处于学习阶段，不确定导入方式是否正确，欢迎大家一起交流。
熊(´-ω-`)熊
关注
专栏目录
优化器篇 | YOLOv8 引入谷歌 Lion 优化器 | 《Symbolic Discovery of Optimization Algorithms》
YOLOv8项目贡献者
06-18 3869
谷歌 Lion 优化器添加教程
YOLOv8 引入谷歌 Lion 优化器：提速、优化、卓越！
一直在水些技术小文
11-09 812
Lion 优化器是谷歌公司最近提出的一种优化算法，它旨在提高深度学习模型的训练效率和性能。Lion 优化器基于均方误差和一种新型的梯度方向方法，能够更好地处理复杂的损失函数和训练数据，从而提高模型的泛化能力。
YOLOV8替换Lion优化器
最新发布
m0_46256255的博客
08-03 428
论文地址：https://arxiv.org/abs/2302.06675代码地址：https://github.com/google/automl/blob/master/lion/lion_pytorch.py。
【亲测】yoloV8添加Lion优化器
weixin_40950590的博客
10-24 1002
【亲测】yoloV8添加Lion优化器
YoloV8改进策略：来自谷歌最新的优化器——Lion，在速度和精度上双双提升。Adam表示年轻人不讲武德
m0_47867638的博客
04-20 1962
在大家还沉浸在ChatGPT和SAM这些大模型领域的时候，谷歌最新的优化器已经把BASIC-L，送上了第一。按照论文的说法，使用Lion后，普遍有2%的涨幅。太吊了！！！这篇文章我们将Lion引入YoloV8。首先是论文翻译，接下来，告诉大家如何将LIon加入到YoloV8，已经改进过程中遇到的问题。然后，比对结果。最后，做出总结。本文提出一种将算法发现表述为程序搜索的方法，并将其应用于发现用于深度神经网络训练的优化算法。利用高效的搜索技术来探索无限和稀疏的程序空间。
Lion优化器与Yolov8
牛肉胡辣汤
11-22 517
Lion优化器是一种基于梯度的优化算法，旨在提高梯度下降法在深度学习中的优化效果。自适应学习率：Lion优化器能够自动调整学习率，根据每个参数的梯度情况来自适应地更新学习率。这使得模型能够更快地收敛，并且不易陷入局部最优点。动量加速：Lion优化器引入了动量概念，通过积累历史梯度的一部分来加速梯度更新。这样可以增加参数更新的稳定性，避免陷入震荡或振荡状态。参数分布均衡：Lion优化器通过分析模型参数的梯度分布情况，对梯度进行动态调整，以实现参数分布的均衡。
yolov8逐步分解(7)_模型训练初始设置之优化器Optimizer及学习率调度器Scheduler初始化
yueguang8的博客
05-29 2646
本章将讲解yolov8训练初始化过程中的优化器Optimizer及学习率调度器Scheduler的初始代码。介绍超参数梯度累积步数,来计算出合适的权重衰减值和总的训练迭代次数,并使用这些参数创建一个优化器对象；介绍学习率调度器和提前停止机制,并恢复了之前保存的训练状态,最后运行了预训练过程结束时的回调函数。这些设置都是为了提高训练的效率和性能
【9】yolov8目标检测模型改进之替换Lion优化器
m0_45426637的博客
09-05 2361
最近在使用yolov8网络模型来训练自己的数据集并需要对其进行改进优化；就想着从简单的更换优化器来试试对训练效果有没有一些好的效果。找到了最近比较热并且是最新的优化器Lion。论文：https://arxiv.org/abs/2302.06675代码：https://github.com/google/automl/blob/master/lion/lion_pytorch.py。
创新技术横空出世：探秘Yolov8/Yolov5引入的优化器Lion，内存更小、效率更高，秒杀Adam(W)
一直在水些技术小文
11-10 529
Lion是谷歌公司最新推出的一款优化器，它在梯度下降算法的基础上进行了巧妙的改进，旨在解决传统优化器在内存占用和计算效率方面的痛点。相比于传统优化器，Lion注重在大规模深度学习任务中的性能表现。Yolov8和Yolov5是目标检测领域最为知名的算法之一，以其高效的目标检测能力而受到广泛关注。近期，为了进一步提升模型性能，Yolov8和Yolov5纷纷引入Lion优化器，以期在内存占用和计算效率方面实现质的飞跃。
番外篇 | 手把手教你如何在YOLOv8中引入谷歌Lion优化器
突然好想你
05-09 327
谷歌的Lion优化器是一种针对深度学习模型的自适应优化器。相较于传统的优化器，如SGD和Adam等，Lion能够自适应地调整学习率，从而更好地适应不同的任务和数据。Lion优化器在性能和精度上都有很好的表现，特别是在大规模模型和训练数据集上。🌈
改进YOLO系列 | YOLOv5/v7 引入谷歌 Lion 优化器
YOLOv8项目贡献者
06-18 2674
YOLOv5/v7 引入谷歌 Lion 优化器
机器学习笔记：优化器Lion（EvoLved Sign Momentum）
qq_40206371的博客
02-20 1978
2023 Google&UCLA 参考内容：Google新搜出的优化器Lion：效率与效果兼得的“训练狮”
【深度学习】Google Brain新提出的优化器“Lion”，效果要比Adam(W)更好
fengdu78的博客
02-26 1723
Google Brain新提出的优化器“Lion”，效果要比Adam(W)更好论文地址：https://arxiv.org/abs/2302.06675代码地址：https://github.com/google/automl/blob/master/lion/lion_pytorch.py1简单、内存高效、运行速度更快与 AdamW 和各种自适应优化器需要同时保存一阶和二阶矩相比，Lion 只...
涨点神器！超越Adam！谷歌提出Lion炼丹优化器，内存更小、效率更高！
阿木寺的博客
02-21 4197
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【计算机视觉】微信技术交流群转载自：机器之心 |编辑：杜伟、陈萍谷歌的 Lion 优化器将成为训练大模型或大批量的「福音」。优化器即优化算法，在神经网络训练中起着关键作用。近年来，研究者引入了大量的手工优化器，其中大部分是自适应优化器。Adam 以及 Adafactor 优化器仍然占据训练神经网络的主流，尤其在...
RTDETR更换优化器——Lion
锁我喉是吧
06-27 564
参数分布均衡：Lion优化器通过分析模型参数的梯度分布情况，对梯度进行动态调整，以实现参数分布的均衡。这有助于避免某些参数过于稀疏或过于密集的问题，提高模型的泛化能力。自适应学习率：Lion优化器能够自动调整学习率，根据每个参数的梯度情况来自适应地更新学习率。动量加速：Lion优化器引入了动量概念，通过积累历史梯度的一部分来加速梯度更新。是一种基于梯度的优化算法，旨在提高梯度下降法在深度学习中的优化效果。将上述代码复制粘贴在ultralytics/engine下创建lion_pytorch.py文件。
yolov5优化器及超参数设置
热门推荐
qq_40992227的博客
07-03 1万+
机器学习的五个步骤： 数据 -> 模型 -> 损失 -> 优化器 -> 迭代训练。 我们通过前向传播的过程，得到了模型输出与真实标签的差异，我们称之为损失， 有了损失，我们会进入反向传播过程得到参数的梯度，那么接下来就是优化器干活了，优化器要根据我们的这个梯度去更新参数，使得损失不断的降低。 那么优化器是怎么做到的呢？ 该博主从三部分进行展开，首先是优化器的概念，然后是优化器的属性和方法，最后是常用的优化器。深度学习优化算法经历了 SGD -> SGDM -> NAG ->AdaGrad -> AdaDel
首发Yolov8优化：Adam该换了！斯坦福最新Sophia优化器，比Adam快2倍 | 2023.5月斯坦福最新成果
05-28 3152
YOLOV8引入斯坦福2023.5月发表的Sophia，优势训练稳定性：与 AdamW 和 Lion 相比，Sophia-H 在预训练中具有更好的稳定性。梯度裁剪 (by norm) 是语言模型预训练中的一项重要技术。在实践中，梯度裁剪触发的频率与训练的稳定性有关 —— 如果梯度被频繁裁剪，迭代可能处于非常不稳定的状态。
yolov8 添加lion
07-27
很高兴回答您的问题！要将lion添加到YOLOv8模型中，您可以按照以下步骤进行操作： 1. 数据收集：收集包含lion的图像数据集，并对其进行标注，标注lion的边界框。 2. 数据预处理：将收集到的图像数据进行预处理，包括调整大小、裁剪、增强等操作，以便用于训练YOLOv8模型。 3. 模型配置：将YOLOv8模型进行配置，可以使用已有的YOLOv8模型配置文件，或者根据自己的需求进行调整。 4. 模型训练：使用预处理后的数据集对YOLOv8模型进行训练，可以使用已有的训练脚本或自己编写。 5. 模型评估：在训练过程中，可以使用验证集对模型进行评估，并根据评估结果进行调整和优化。 6. 模型推理：完成训练后，可以使用YOLOv8模型进行推理，检测图像中的lion。 请注意，以上步骤仅为一般性指导，具体实现可能会因您的需求和环境而有所不同。希望这些信息能对您有所帮助！如果还有其他问题，请随时提问。
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值