YOLOv5改进系列(十) 本文(5000字) | 更换Google的优化器Lion |

已于 2023-12-29 16:34:30 修改
阅读量1k 收藏 27
点赞数 26
文章标签： YOLO 深度学习 人工智能 Lion 优化器
于 2023-12-29 12:33:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44302770/article/details/135275913
版权
人工智能专栏计划 专栏收录该内容
142 篇文章 7 订阅

已下架不支持订阅

本文介绍了Google新提出的Lion优化器，它在多个任务上展现出优于AdamW的效果，同时具备更快的速度和更低的显存占用。Lion通过大量算力搜索得出，通过sign操作引入噪声，可能提升模型的泛化性能。
摘要由CSDN通过智能技术生成

点击进入专栏：
《人工智能专栏》 Python与Python | 机器学习 | 深度学习 | 目标检测 | YOLOv5及其改进 | YOLOv8及其改进 | 关键知识点 | 各种工具教程

文章目录

代码函数调用关系图(全网最详尽-重要)

因文档特殊，不能在博客正确显示，请移步以下链接！

图解YOLOv5_v7.0代码结构与调用关系(点击进入可以放大缩小等操作)

预览：
在这里插入图片描述

了解本专栏 已下架不支持订阅
小酒馆燃着灯
关注
专栏目录

已下架不支持订阅

改进YOLO系列 | YOLOv5/v7 引入谷歌 Lion 优化器
YOLOv8项目贡献者
06-18 2734
YOLOv5/v7 引入谷歌 Lion 优化器
《人工智能专栏》必读150篇 | 阅读推荐 & 专栏目录 & Python与PyTorch | 机器与深度学习 | 目标检测 | YOLOv5及改进 | YOLOv8及改进 | 关键知识点 | 工具
weixin_44302770的博客
12-28 1841
人工智能专栏》 Python与Python | 机器学习 | 深度学习 | 目标检测 | YOLOv5及其改进 | YOLOv8及其改进 | 关键知识点 | 各种工具教程。6. Python与PyTorch。5. YOLOv8及其改进。2. 深度学习与目标检测。4. YOLOv5改进。
yolov5优化器及超参数设置
hllyzms的博客
10-17 4150
机器学习的五个步骤： 数据 -> 模型 -> 损失 -> 优化器 -> 迭代训练。 我们通过前向传播的过程，得到了模型输出与真实标签的差异，我们称之为损失， 有了损失，我们会进入反向传播过程得到参数的梯度，那么接下来就是优化器干活了，优化器要根据我们的这个梯度去更新参数，使得损失不断的降低。 那么优化器是怎么做到的呢？ 该博主从三部分进行展开，首先是优化器的概念，然后是优化器的属性和方法，最后是常用的优化器。深度学习优化算法经历了 SGD -> SGDM -> NAG ->AdaGrad -> AdaDel
【深度学习】YOLO V5 超参数优化
fengdu78的博客
06-06 1万+
超参数优化方法https://en.wikipedia.org/wiki/Hyperparameter_optimization深度学习模型超参数优化是指通过调整模型的超参数（即不由模型自身学习的参数）来改善模型的性能和泛化能力。超参数包括学习率、批次大小、层的数量和大小、正则化参数等。超参数优化可以被视为在超参数空间中搜索最优解的过程。超参数空间由各种超参数的取值范围组成，搜索的目标是找到最佳的...
yolov5-6.1版本功能测试（全）
weixin_61785507的博客
04-08 4274
yolov5-6.1版本功能测试（全） 提示：此片段仅对现有技术对比参考，以时间为节点，后续更新前沿框架！ 文章主题：yolov5-6.1版本性能对比，以及如何提升性能最佳。 文章目录yolov5-6.1版本功能测试（全）前言一、过往版本性能如何？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 以下是本篇文章正文内容，下面案例可供参考 一、
整理极客冠军方案
weixin_50862344的博客
08-14 1947
整理极客冠军方案
从反向传播角度解读YOLOV5源码：如何从改变优化器，损失函数计算方式等角度提升模型的性能？
vindicater的博客
08-31 1253
本文主要关注了损失函数的计算方式和优化器反向传播的部分。事实上，本文和上一篇文章在一起解析了整个模型在训练一个Batch的过程中具体进行了什么样的操作，每一部分代码究竟有什么意义。
《人工智能专栏》必读150篇 | 专栏介绍 & 专栏目录 & Python与PyTorch | 机器与深度学习 | 目标检测 | YOLOv5及改进 | YOLOv8及改进 | 关键知识点 | 工具
weixin_44302770的博客
12-25 1009
《人工智能专栏》专栏介绍 & 专栏目录 & Python与Python | 机器学习 | 深度学习 | 目标检测 | YOLOv5及其改进 | YOLOv8及其改进 | 关键知识点 | 各种工具教程
改进YOLO系列 | YOLOv5/v7引入PSAModule | 高效金字塔压缩注意力模块
YOLOv8项目贡献者
06-06 825
YOLOv5/v7引入PSAModule | 高效金字塔压缩注意力模块
《人工智能-机器学习-深度学习-目标检测》专栏目录 & Python与PyTorch | 机器与深度学习 | 目标检测 | YOLOv5及改进 | 关键知识点 | 工具
weixin_44302770的博客
09-08 1194
走进神经网络 | 深度神经网络DNN | 卷积神经网络CNN | 区域卷积神经网络RNN | 目标检测 | 经典网络模型二十余种(LeNet-5 | AlexNet | ZFNet | VGGNet | GoogLeNet | ResNet | DenseNet | SeNet | MobileNet | ShuffleNet | RepVGG | MobileOne | FasterNet | R-CNN | SPPNet | Fast RNN | Faster RNN | R-FCN | SSD )
YOVOv5超参数设计及优化
wyw0000的博客
01-19 630
YOLOV5超参数设置与数据增强解析 YOLOV5超参数介绍以及优化策略
YOLOV5代码解析——优化器
l13022736018的博客
06-28 8811
YOLOV5代码解析——优化器 摘要 本博文用来记录yoloV5优化器的设置，文章通过yolov5官方代码解析optimizer优化器的用法。 Optimizer 模型参数共分为三组 卷积神经网络的权重参数weights , 卷及神经网偏置参数bias, 批归一化的权重参数weights . 代码实现如下： # Optimizer nbs = 64 # nominal batch size模拟的batch_size accumulate = max(round(nbs / t
【玩转yolov5】请看代码之参数管理及学习率调整
01-25 1万+
yolov5中的优化器(optimizer)将模型可学习的参数分成了三个组，分别为pg0:BN参数，pg1:一般权重(weight)参数，pg2:偏置(biase)参数，通过param_group来管理3组参数。param_group的意义在于可以针对不同的参数组量身定制学习率(lr)、衰减(weight_decay)、动量(moment)等超参数。例如在某一模型中，希望特征提取部分的权值参数的学习率小一点，学习更新慢一点，这时可以把特征提取的参数设置为一组参数，而对于后面全连接分类层，希望其学习率...
【深入YoloV5（开源）】基于YoloV5的模型优化技术与使用OpenVINO推理实现
热门推荐
cv君的博客
11-15 3万+
【深入YoloV5（开源）】基于YoloV5的模型优化技术与使用OpenVINO推理实现 前言 CV调包侠自己的深度学习交流群中一位兄弟在看我以前的github和博客：https://blog.csdn.net/qq_46098574/article/details/107334954 中，跑完项目，发现效果较差，不尽人意，然后想知道如何提高评价指标和优化，因为Yolov5 的速度和精度是及其优秀的，很多人就想着优化，并且能以此为baseline 落地一些实时性项目。我昨天想了一下，做了第一次的模型优化，后
YOLOv5-优化器和学习率调整策略
a699669的博客
02-11 1万+
优化器和学习率调整策略 pytorch-优化器和学习率调整 关于优化器和学习率的一些基础记得很细，还有相关实现代码
从零开始使用YOLOv11——Yolo检测detect数据集自建格式转换为模型训练格式：20w+图片&1w+类别代码测试成功
qq_58718853的博客
11-12 1166
本文记录YOLO检测模型训练数据集搭建过程和代码
YOLO11改进 | 融合改进 | C3k2融合Efficient Multi-Scale Conv Plus【独家原创】
kay_545
11-12 498
yolo11改进，yolo11
YOLOv11融合ICCV[2023]倒残差移动块iRMB模块及相关改进思路|YOLO改进最简教程
最新发布
深度学习炼丹师，偶尔分享炼丹技术!
11-13 900
论文速览：倒置残差块 （IRB） 是轻量级 CNN 的基础设施，但尚未得到基于注意力的研究的认可。这项工作从统一的角度从高效的 IRB 和 Transformer 的有效组件重新思考轻量级基础设施，将基于 CNN 的 IRB 扩展到基于注意力的模型，并抽象出一个单残差 Meta Mobile Block （MMB） 用于轻量级模型设计。遵循简单但有效的设计标准，我们推导出了一个现代的倒置残差移动块 （iRMB），并构建了一个仅用 iRMB 的 ResNetlike 高效模块 （EMO） 用于下游任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小酒馆燃着灯

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值