芒果YOLOv5改进29：主干Backbone篇之Conv2Former：原创结合Conv2Formers改进结构，Transformer 风格的卷积网络视觉基线模型，超越ConvNeXt结构

已于 2024-03-14 20:29:45 修改
阅读量4.5k 收藏 41
点赞数 4
分类专栏： 芒果YOLOv5原创改进 文章标签： transformer 网络 深度学习
于 2023-01-26 12:28:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38668236/article/details/128764813
版权
芒果YOLOv5原创改进 同时被 2 个专栏收录
111 篇文章 55 订阅 ¥239.90 ¥399.90
订阅专栏
芒果改进YOLO进阶指南
65 篇文章 621 订阅 ¥299.90 ¥399.90
订阅专栏
本文介绍了如何在YOLOv5中应用Conv2Former，这是一种结合了Transformer风格的卷积网络结构，旨在提高模型性能。通过对卷积调制操作的深入研究，Conv2Former在ImageNet分类、COCO目标检测和ADE20k语义分割任务上超越了ConvNeXt等模型。文章详细阐述了理论基础、代码改进和运行步骤。
摘要由CSDN通过智能技术生成
  • 💡该教程为改进进阶指南，属于《芒果书》📚系列，包含大量的原创首发改进方式, 所有文章都是全网首发原创改进内容🚀
  • 💡本篇文章 基于 YOLOv5芒果改进YOLO系列：芒果改进YOLOv5系列：超越ConvNeXt结构，原创结合Conv2Former改进结构，Transformer 风格的卷积网络视觉基线模型，高效涨点、打造全新YOLOv5检测器。
  • 重点：🔥🔥🔥有不少同学已经反应 专栏的教程 提供的网络结构 在数据集上有效涨点!!! 🌟进阶专栏内容持续更新中🎈☁️🏅️，订阅了该专栏的读者·私信博主·加·创新点进阶交流群
  • 本文内容包括理论部分和改进源代码部分🚀 为原创内容，可以直接用来写论文

    文章目录

一、理论部分 + YOLOv5代码改进

论文并不试图设计一种最先进的视觉识别方法，而是研究一种更有效的方法来利用卷积来编码空间特征。通过比较最近的卷积神经网络 (ConvNets) 和 Vision Transformers 的设计原则，我们

了解本专栏 订阅专栏 解锁全文
芒果汁没有芒果
关注
专栏目录
订阅专栏
芒果YOLOv9改进25：主干Backbone篇之Conv2Former：原创结合Conv2Formers改进结构，Transformer 风格的卷积网络视觉基线模型，超越ConvNeXt结构
包括YOLOv5、YOLOv7、YOLOv8等模型改进
05-19 110
YOLOv9改进：主干Backbone篇之Conv2Former：原创结合Conv2Formers改进结构，Transformer 风格的卷积网络视觉基线模型，超越ConvNeXt结构
深度学习论文: Conv2Former: A Simple Transformer-Style ConvNet for Visual Recognition及其PyTorch实现
mingo_敏
12-02 2323
通过组合ConvNet与ViT的设计理念，本文利用卷积调制操作对自注意力进行了简化，进而构建了一种新的ConvNet架构Conv2Former。
yolov8中的模型搭建步骤
最新发布
wo_cai_niao的博客
09-13 501
parse_model是修改模型中很重要的函数，不搞透彻很难进行下一步
Conv2Former ~2
whaosoft143ai的博客
12-19 437
本文试图回答：如何借助卷积操作，打造具有 Transformer 风格的卷积网络视觉基线模型。本文提出一种卷积调制模块，利用卷积来建立关系，这比注意力机制在处理高分辨率图像时更高效。最终的模型称为 Conv2Former，它通过只使用卷积和 Hadamard 积，简化了注意力机制。卷积调制操作是一种利用大核卷积的更有效的方法。作者在 ImageNet 分类、目标检测和语义分割方面的实验也表明，Conv2Former 比以前基于 CNN 的模型和大多数基于 Transformer 的模型表现得更好。
【深度学习】超越ConvNeXt！Transformer 风格的卷积网络视觉基线模型Conv2Former
fengdu78的博客
12-20 1306
作者丨科技猛兽编辑丨极市平台导读本文提出一种卷积调制模块，利用卷积来建立关系，这比注意力机制在处理高分辨率图像时更高效，称为 Conv2Former。作者在 ImageNet 分类、目标检测和语义分割方面的实验也表明，Conv2Former 比以前基于 CNN 的模型和大多数基于 Transformer 的模型表现得更好。本文目录1 Conv2Former：Transformer 风格的卷积网络...
Conv2Former
whaosoft143ai的博客
12-03 2160
又发现了一个说比Transformer好的,通过充分利用卷积探索一种更高效的编码空域特征的方式：通过组合ConvNet与ViT的设计理念，本文利用卷积调制操作对自注意力进行了简化，进而构建了一种新的ConvNet架构Conv2Former超简Transformer风格ConvNet，比ConvNeXt还秀，媲美VAN，进而构建了一种新的ConvNet架构Conv2Former。whaosoft aiot http://143ai.com
大道至简 | Conv2Former：比ConvNeXt还秀！
CV_Autobot的博客
12-01 1751
作者| Happy 编辑|集智书童点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【全栈算法】技术交流群本文旨在通过充分利用卷积探索一种更高效的编码空域特征的方式：通过组合ConvNet与ViT的设计理念，本文利用卷积调制操作对自注意力进行了简化，进而构建了一种新的ConvNet架构Conv2Former。ImageNet分类、COCO检测以及ADE...
Conv2Former: A Simple Transformer-Style ConvNet for Visual Recognition
qq_52302919的博客
12-23 2112
论文: https://arxiv.org/pdf/2211.11943.pdf code(pytorh版本): https://github.com/shanglianlm0525/PyTorch-Networks本文并没有试图设计一种最先进的视觉识别方法，而是研究了一种更有效的方法，利用卷积来编码空间特征。通过比较最近的卷积神经网络(ConvNets)和Vision transformer的设计原理，提出利用卷积调制操作来简化自注意。本文证明了这样一个简单的方法可以更好地利用嵌套在卷积层中的大内核(≥7
芒果YOLOv10改进01：主干Backbone篇之Conv2Former：原创结合Conv2Formers改进结构，Transformer 风格的卷积网络视觉基线模型，超越ConvNeXt结构
包括YOLOv5、YOLOv7、YOLOv8等模型改进
06-08 144
YOLOv10改进：主干Backbone篇之Conv2Former：原创结合Conv2Formers改进结构，Transformer 风格的卷积网络视觉基线模型，超越ConvNeXt结构
芒果YOLOv7改进28：主干篇：改进主干Conv2Former结构系列：超越ConvNeXt结构，原创结合Conv2Former改进结构，Transformer 风格的卷积网络视觉基线模型，高效涨点
包括YOLOv5、YOLOv7、YOLOv8等模型改进
01-26 6174
改进代码实践 ｜ YOLOv7 + Transformer 风格的卷积网络视觉模型
芒果YOLOv8改进36：主干Backbone篇之Conv2Former：原创结合Conv2Formers改进结构，Transformer 风格的卷积网络视觉基线模型，超越ConvNeXt结构
包括YOLOv5、YOLOv7、YOLOv8等模型改进
11-17 403
原创结合Conv2Formers改进结构，Transformer 风格的卷积网络视觉基线模型，超越ConvNeXt结构
Conv2Former：用于视觉识别的简单 Transformer-Style的ConvNet
m0_47867638的博客
04-22 373
本文并没有试图设计一种最先进的视觉识别方法，而是研究了一种更有效的方法，利用卷积来编码空间特征。通过比较最近的卷积神经网络(ConvNets)和Vision transformer的设计原理，我们提出利用卷积调制操作来简化自注意。我们证明了这样一个简单的方法可以更好地利用嵌套在卷积层中的大内核(≥7 × 7)。我们使用所提出的卷积调制(称为Conv2Former)构建了一个层次ConvNets家族。我们的网络简单易懂。
【ARXIV2211】Conv2Former: A Simple Transformer-Style ConvNet for Visual Recognition
中国海洋大学AI前沿理论组
01-25 468
AIWalker将这个工作与VAN进行了对比，两者区别是：Conv2Former是注意力范式，使用LN；尽管注意力可以更好的捕获 long-range dependency ，但是其计算复杂性会随着 HW 的增加而几何级增长。如下图所示，该方法采用了Transformer典型的四阶段架构，核心在于中间应用了 Convolution modulation。表示Hadamard积，这样该模块使每个位置的元素与其kxk邻域相关，而通道间的信息聚合可以通过线性层实现。这是来自南开大学侯淇彬老师的工作，
【第76篇】Conv2Former:用于视觉识别的简单 Transformer-Style的ConvNet
AI浩
04-06 851
本文并没有试图设计一种最先进的视觉识别方法，而是研究了一种更有效的方法，利用卷积来编码空间特征。通过比较最近的卷积神经网络(ConvNets)和Vision transformer的设计原理，我们提出利用卷积调制操作来简化自注意。我们证明了这样一个简单的方法可以更好地利用嵌套在卷积层中的大内核(≥7 × 7)。我们使用所提出的卷积调制(称为Conv2Former)构建了一个层次ConvNets家族。我们的网络简单易懂。
YoloV8改进策略：Conv2Former与YoloV8深度融合，极简网络，极高性能
m0_47867638的博客
04-20 1154
Conv2Former是在ConvNeXt基础上，做了进一步的优化，性能得到了提升。我们尝试将Conv2Former加入到YoloV8中，会发生什么样的反应呢？本文并没有试图设计一种最先进的视觉识别方法，而是研究了一种更有效的方法，利用卷积来编码空间特征。通过比较最近的卷积神经网络(ConvNets)和Vision transformer的设计原理，我们提出利用卷积调制操作来简化自注意。我们证明了这样一个简单的方法可以更好地利用嵌套在卷积层中的大内核(≥7 × 7)。
Conv2Former：一种transformer风格的卷积特征提取方式
m0_62919535的博客
01-01 1556
Conv2Former，这是一种新型的卷积神经网络架构，其核心是卷积调制操作，通过卷积和Hadamard乘积简化了自注意力机制。在ImageNet分类、目标检测和语义分割任务中，Conv2Former相对于先前的CNN和Transformer模型表现更优。作者强调了对大内核卷积的更有效利用，如何将提出的卷积调制块与Transformer结合起来，这是将来的研究方向。
【YOLOv7/YOLOv5系列改进NO.50】超越ConvNeXt！Conv2Former：用于视觉识别的Transformer风格的ConvNet
m0_70388905的博客
12-10 3172
涨点明显！超越ConvNeXt！Conv2Former：用于视觉识别的Transformer风格的ConvNet。
YOLOv5改进详解：CSPDarkNet53、SPP与自适应策略
"这篇文档详细介绍了YOLOv5的改进思想和关键组件，包括不同的模型大小，如Yolov5s、Yolov5m、Yolov5l和Yolov5x，以及一系列技术优化，如CSPDarkNet53+Focus作为backbone，SPP+PAN在neck部分，还有自适应图片缩放、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

芒果汁没有芒果

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值