【YOLOv10改进 -卷积Conv】 OREPA(Online Convolutional Re-parameterization)：在线卷积重参数化

已于 2024-07-20 10:38:39 修改
阅读量1.2k 收藏 18
点赞数 16
分类专栏： YOLOv10 创新改进有效涨点 文章标签： YOLO 论文阅读 目标检测 人工智能 yolov10
于 2024-06-29 22:33:22 首次发布
原创文章，禁止任何形式转载！
本文链接：https://blog.csdn.net/shangyanaf/article/details/140071865
版权

YOLOv10目标检测创新改进与实战案例专栏

改进目录: YOLOv10有效改进系列及项目实战目录：卷积，主干 注意力，检测头等创新机制

专栏链接: YOLOv10 创新改进有效涨点

介绍

image-20240604160413039

摘要

结构重参数化在各种计算机视觉任务中引起了越来越多的关注。它旨在提高深度模型的性能，同时不引入任何推理时间成本。虽然在推理过程中效率很高，但这些模型在复杂的训练阶段中依赖于复杂的训练块来达到高准确性，导致额外的大量训练成本。本文介绍了在线卷积重参数化（OREPA），这是一个两阶段的流程，旨在通过将复杂的训练阶段块压缩为单个卷积来减少巨大的训练开销。为了实现这个目标，我们

了解本专栏 订阅专栏 解锁全文 超级会员免费看
YOLO大师
关注
  • 16
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Yolov8-pose关键点检测：模型轻量化创新 | OREPA结合c2f，节省70%的显存！训练速度提高2倍！ | CVPR2022
09-30 2002
OREPA | GFLOPs从9.6降低至8.2，mAP50从0.921提升至0.931
YOLOv8改进 | Conv篇 | 在线重参数化卷积OREPA助力二次创新（提高推理速度 + FPS）
Snu77的博客
01-17 2505
在训练阶段，OREPA的设计允许将多个卷积层和批量归一化（BN）层通过重参数化合并为一个卷积层，以减少训练时的复杂性和内存需求。在推理时，不论训练时的结构如何复杂，所有模型都被简化为单一的卷积层，这有助于提高推理速度并降低推理时的资源消耗。通过这一系列步骤，OREPA方法在训练阶段有效地简化了模型的复杂性，优化了训练效率，并为高性能模型的构建提供了一种新的方法论。这个设计通过将一系列卷积层、池化层和频率先验层，并带有缩放层，最终通过一个挤压操作将这些层合并成一个单独的OREPA卷积层。
YOLOv10改进 | Conv篇 | 在线重参数化卷积OREPA助力二次创新（提高推理速度 + FPS）
Snu77的博客
07-11 913
到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，本专栏目前为新开的平均质量分98分，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~YOLOv10改进系列专栏——本专栏持续复习各种顶会内容——科研必备。
【论文笔记_计算机视觉_2022】Online Convolutional Re-parameterization
qq_45128278的博客
05-12 881
摘要 在各种计算机视觉任务中，结构重参数化已引起越来越多的关注。它的目的是在不引入任何推理时间成本的情况下提高深度模型的性能。虽然在推理过程中很有效，但这种模型在很大程度上依赖于复杂的训练时间块来实现高精确度，从而导致了大量的额外训练成本。在本文中，我们提出了在线卷积重参数化（OREPA），这是一个两阶段的管道，旨在通过将复杂的训练时间块挤压到一个单一的卷积中来减少巨大的训练开销。为了实现这一目标，我们引入了一个线性缩放层来更好地优化在线块。在降低训练成本的协助下，我们还探索了一些更有效的重新参数化组件。.
Online Convolutional Re-parameterization
qq_52302919的博客
04-13 1488
结构重参数化在各种计算机视觉任务中引起了越来越多的关注。它的目的是在不引入任何推理时间成本的情况下提高深层模型的性能。虽然在推理过程中效率很高，但这类模型在很大程度上依赖于复杂的训练时间块来实现高精度，从而导致大量额外的训练成本。在本文中，作者提出了在线卷积重参数化（OREPA），这是一种两级管道，旨在通过将复杂的训练时间块压缩成单个卷积来减少巨大的训练开销。为了实现这一目标，作者引入了一个线性缩放层，以更好地优化在线块。在降低训练成本
【YOLOv8改进-卷积Conv】 OREPA(Online Convolutional Re-parameterization)：在线卷积重参数化
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
06-05 305
结构重参数化在各种计算机视觉任务中引起了越来越多的关注。它旨在提高深度模型的性能，同时不引入任何推理时间成本。虽然在推理过程中效率很高，但这些模型在复杂的训练阶段中依赖于复杂的训练块来达到高准确性，导致额外的大量训练成本。本文介绍了在线卷积重参数化（OREPA），这是一个两阶段的流程，旨在通过将复杂的训练阶段块压缩为单个卷积来减少巨大的训练开销。为了实现这个目标，我们引入了一个线性缩放层，以更好地优化在线块。在降低训练成本的同时，我们还探索了一些更有效的重参数化组件。
论文速读：Online Convolutional Re-parameterization
u014546828的博客
05-21 1267
Paper: https://arxiv.org/pdf/2204.00826v1.pdf Codes are available at https: //github.com/JUGGHM/OREPA_CVPR2022.
Lossless CNN Channel Pruning via Gradient Resetting and Convolutional Re-parameterization
gcf_uinque的博客
07-24 646
论文地址：https://arxiv.org/abs/2007.03260 代码地址：https://github.com/DingXiaoH/ResRep. 因为CNN的表征能力取决于宽度，所以普通的通道剪枝往往会降低性能。作者收神经生物学关于记忆和遗忘的独立性启发，将CNN再参数化为记忆部分和遗忘部分，记忆部分学习保持性能，遗忘部分学习提高效率。 ...
Online Convex Optimization
qq_41567540的博客
05-30 377
与OGD类似，区别即获得的梯度是带噪声的。该处证明SGD方法的convergence rate，上边是regre bound。OGD算法是GD算法的在线版本，第一次引入是通过 Zinkevich。轮累积和，即可得到regre bound =是OGD最好的遗憾界，相关证明可以参考。对于强凸损失函数，通过设置步长序列。然后联合公式4和5，证明完毕。也就是说，每次从决策集取一个点。在该点的梯度，并且期望的方差是。，然后获得该点带噪声的梯度，，可行域内的一系列点集。
CVPR2022 | 在线Re-Param | OREPA让AI训练速度进一步加快，精度略胜RepVGG！
qq_29462849的博客
04-06 1060
点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达作者丨ChaucerG来源丨集智书童结构重参化在各种计算机视觉任务中引起了越来越多的关注。它的目的是提高深度模型的性能，而不引入任何推理时间成本。虽然这种模型在推理过程中很有效，但它严重依赖于复杂的training-time block来实现较高的准确性，从而导致了巨大的额外训练成本。在本文中提出了在线卷积重参化(O...
CVPR2022 | OREPA（Online Convolutional Re-parameterization）超越 RepVGG 的在线重参数方法
AI-cv-sharer
05-14 611
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
YOLOv9改进策略 | Conv篇 | 在线重参数化卷积OREPA助力二次创新（提高推理速度 + FPS）
Snu77的博客
04-21 1326
本文给大家带来的改进机制是一种重参数化的卷积模块OREPA，这种重参数化模块非常适合用于二次创新，我们可以将其替换网络中的其它卷积模块可以不影响推理速度的同时让模型学习到更多的特征。OREPA是通过在线卷积重参数化（Online Convolutional Re-parameterization）来减少深度学习模型训练的成本和复杂性。这种方法主要包括两个阶段：首先，利用一个特殊的线性缩放层来优化在线块的性能；其次，通过将复杂的训练时模块压缩成一个单一的卷积来减少训练开销。
YOLOv8-Seg改进：轻量化改进 | 超越RepVGG！浙大&阿里提出OREPA：在线卷积重参数化
会AI的学姐
01-10 391
OREPA在线卷积重参数化巧妙的和YOLOV8结合，并实现轻量化
【模型剪枝】|重参数化 ResRep
qq_35608277的博客
05-26 2775
LosslessCNN Channel Pruning via Gradient Resetting and ConvolutionalRe-parameterization 提出了一种新的无损的通道剪枝方法ResRep（也就是filter pruning），其目的是通过减小卷积层的宽度（输出通道数）来精简卷积神经网络（CNN）。受记忆和遗忘的独立性的神经生物学研究的启发，我们提出将CNN重参数化为记忆部分和遗忘部分，前者学习维持表现，后者学习提高效率。通过在前者上使用常规SGD训练重参数化模型，而在后者上
YOLOV----- ONNX 推理过程、可视化图片、保存检测到的目标
最新发布
weixin_46135327的博客
09-02 241
YOLOV----- ONNX 推理过程、可视化图片、保存检测到的目标
YOLOv8改进 | Conv篇 | YOLOv8引入SAConv模块
tsg6698的博客
09-01 228
在微观层面，我们提出了可切换空洞卷积，它将具有不同空洞率的特征进行卷积，并使用开关函数收集结果。在 COCO test-dev 上，DetectoRS 在目标检测方面实现了最先进的 55.7% 框 AP，在实例分割方面实现了 48.5% 的掩模 AP，在全景分割方面实现了 50.0% PQ。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv8改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
YOLOv9输出模型每一层的耗时和GFLOPs
qq_42591591的博客
09-01 190
在做一些比较实验中，如何更精确的查看和对比我们的改进模块时候有效，是否有提升，特别是在模型轻量化时，这时候我们就可以打印改进模型每一层的耗时和GFLOPS来比较不同模块的占用量。在YOLOv9中，打印模型每一层的耗时和GFLOPs使用的是。这样就可以查看每一层的耗时和GFLOPs了。
yolov8改进spd-conv
07-28
目前还没有YOLOv8这个版本的改进，最新的版本是YOLOv5。YOLOv5是在YOLOv4的基础上进行改进的，主要是通过引入SPD-Conv构建块来提高性能。SPD-Conv由一个空间到深度(SPD)层和一个无卷积步长(Conv)层组成，可以应用于大多数CNN体系结构。这个构建块的引入可以解决低分辨率图像和小物体等困难任务时的性能下降问题。\[3\] 所以，目前还没有关于YOLOv8改进SPD-Conv的相关研究或实现。如果有关于YOLOv8的改进，可能会在未来的研究中提到。 #### 引用[.reference_title] - *1* *2* *3* [涨点神器：基于Yolov5/Yolov7的SPD-Conv，低分辨率图像和小物体涨点明显](https://blog.csdn.net/m0_63774211/article/details/129661154)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YOLO大师

你的打赏，我的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值