YOLOv8改进 | 主干篇 | RepViT从视觉变换器（ViT）的视角重新审视CNN（全新的YOLOv8改进策略）

已于 2024-04-16 23:08:42 修改
阅读量5.5k 收藏 37
点赞数 23
分类专栏： YOLOv8有效涨点专栏 文章标签： YOLO 深度学习 人工智能 计算机视觉 python 神经网络 cnn
于 2023-12-18 03:48:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/java1314777/article/details/135052550
版权
本文介绍了如何将RepViT结构应用到YOLOv8的主干网络中以提升性能。RepViT是将轻量级ViT的设计应用于CNN的尝试，通过结构性重组、扩展比率调整、宏观和微观设计优化实现性能和效率的提升。作者详细阐述了RepViT的基本原理、核心代码，并提供了详细的网络结构添加教程，包括多个修改步骤，以实现YOLOv8的改进。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、本文介绍

本文给大家来的改进机制是RepViT，用其替换我们整个主干网络，其是今年最新推出的主干网络，其主要思想是将轻量级视觉变换器（ViT）的设计原则应用于传统的轻量级卷积神经网络(CNN)。我将其替换整个YOLOv8的Backbone，实现了大幅度涨点。我对修改后的网络(我用的最轻量的版本)，在一个包含1000张图片包含大中小的检测目标的数据集上(共有20+类别)，进行训练测试，发现所有的目标上均有一定程度的涨点效果，下面我会附上基础版本和修改版本的训练对比图。

推荐指数：⭐⭐⭐⭐⭐

专栏目录：YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制

专栏回顾：YOLOv8改进系列专栏——本专栏持续复习各种顶会内容——科研必备    

目录

一、本文介绍

二、RepViT基本原理

三、RepViT的核心代码 

四、手把手教你添加RepViT网络结构

修改一

修改二

了解本专栏 订阅专栏 解锁全文
改进YOLOv8 | 更换主干网络 | 基于PP-LCNet的轻量级目标检测算法
带你成为别人眼中的大佬！
06-03 2753
首先，让我们来看一下PP-LCNet的架构。接下来，我们将PP-LCNet应用于YOLOv8的主干网络中。具体而言，我们将YOLOv8原来的Darknet53网络替换为PP-LCNet，并在训练过程中使用交叉熵作为损失函数。因此，我们将其应用于改进目标检测算法YOLOv8的主干网络，以提高YOLOv8在低算力设备上的性能。经过实验比较，我们发现将原来的Darknet53网络替换为PP-LCNet后，YOLOv8在mAP指标上得到了1-2个百分点的提升，并且模型的参数量减少了约50%。
YOLOv8改进主干：引领最新MobileViTv系列的最强改进版本｜轻量级Transformer视觉转换器，简单而高效地融合本地全局和输入特征，提升计算机视觉
ZuoProgramming的博客
09-20 319
MobileViTv利用Transformer视觉转换器的这一优势，使得系统能够更好地理解图像中的目标，并提高目标检测的准确性。综上所述，MobileViTv作为YOLOv8的改进主干，通过融合本地全局和输入特征的方法，为计算机视觉系统带来了更高的性能。通过引入轻量级Transformer视觉转换器，MobileViTv能够更好地理解图像中的目标，提高目标检测的准确性。需要注意的是，为了获得更好的性能，可以根据具体情况对模型进行进一步的优化和调整。接下来，我们将介绍MobileViTv的源代码实现。
YOLOv8改进
最新发布
m0_70366090的博客
03-28 137
SPPF：SPP的变体，在Backbone的最后一层作为主干网络的池化层对输入特征图进行大尺度的特征提取，由于SPPF结构主要是池化操作，对特征图空间降维，故而这一层主要提取细粒度信息，并为后续Neck部分减少计算开销的作用。增加一个平均池化支路来补强该层对全局信息的捕捉能力，同时可以起到对特征图减噪的作用(平均池化的特点)
【YOLOv8】YOLOv8改进系列（9）----替换主干网络之RepViT
熬夜秃顶中......
03-20 2215
YOLOv8改进系列（9）----替换主干网络之RepViT
YOLOv9改进，YOLOv9主干网络替换为RepViT (CVPR 2024，清华提出，独家首发)，助力涨点
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
09-17 1533
YOLOv9主干网络替换为RepViT，助力涨点，通过结合轻量级ViTs的架构设计，重新审视了轻量级CNNs的高效设计，最终得到了RepViT，这是一种为资源受限的移动设备设计的全新轻量级CNN家族。RepViT在多个视觉任务中超越了现有的轻量级ViTs和CNNs，表现出了优异的性能和延迟，突显了纯轻量级CNNs在移动设备上应用的广阔前景。
YOLOv8最新改进系列：YOLOv8改进之添加注意力-ContextAggregation，有效涨点！！！
B站 Ai学术叫叫兽的文案地
09-01 8849
YOLOv8最新改进系列：YOLOv8改进之添加注意力-ContextAggregation，有效涨点！！！
YOLOv8改进主干：最新MobileViTv3系列卓越改进版本｜轻量化Transformer视觉转换器，巧妙地融合本地全局和输入特征，高效提升计算机视觉能力
UksApps的博客
09-22 578
为了进一步提升计算机视觉任务的精度和效率，在这篇文章中，我们将介绍一种全新的改进版本——YOLOv8改进主干的MobileViTv3系列。总结起来，YOLOv8改进主干的MobileViTv3系列是一种全新的计算机视觉网络结构，通过轻量化Transformer视觉转换器的融合设计，实现了在计算机视觉任务中高效提升模型性能的目标。最终，返回转换后的特征图。MobileViTv3的改进版本通过融合本地全局和输入特征，充分利用了图像中的上下文信息，从而在计算机视觉任务中取得了卓越的性能提升。
YOLOv10改进 | 主干/Backbone篇 | RepViT从视觉变换器（ViT）的视角重新审视CNN
Snu77的博客
07-13 1245
本文给大家来的改进机制是RepViT，用其替换我们整个主干网络，其是今年最新推出的主干网络，其主要思想是将轻量级视觉变换器（ViT）的设计原则应用于传统的轻量级卷积神经网络(CNN)。我将其替换整个YOLOv10的Backbone，实现了大幅度涨点。我对修改后的网络(我用的最轻量的版本)，在一个包含1000张图片包含大中小的检测目标的数据集上(共有20+类别)，进行训练测试，发现所有的目标上均有一定程度的涨点效果，下面我会附上基础版本和修改版本的训练对比图。
YOLOv11改进 | 主干/Backbone篇 | RepViT从视觉变换器（ViT）的视角重新审视CNN的目标检测网络（适配yolov11全系列）
Snu77的博客
11-01 1820
本文给大家来的改进机制是RepViT，用其替换我们整个主干网络，其是今年最新推出的主干网络，其主要思想是将轻量级视觉变换器（ViT）的设计原则应用于传统的轻量级卷积神经网络(CNN)。我将其替换整个YOLOv11的Backbone，实现了大幅度涨点。我对修改后的网络(我用的最轻量的版本)，在一个包含1000张图片包含大中小的检测目标的数据集上(共有20+类别)，进行训练测试，发现所有的目标上均有一定程度的涨点效果，下面我会附上基础版本和修改版本的训练对比图。
YOLOv5改进 | 主干篇 | 添加轻量化网络RepViT从视觉变换器（ViT）的视角重新审视CNN
Snu77的博客
12-28 2020
本文给大家来的改进机制是RepViT，用其替换我们整个主干网络，其是今年最新推出的主干网络，其主要思想是将轻量级视觉变换器（ViT）的设计原则应用于传统的轻量级卷积神经网络(CNN)。我将其替换整个YOLOv5的Backbone，实现了大幅度涨点。我对修改后的网络(我用的最轻量的版本)，在一个包含1000张图片包含大中小的检测目标的数据集上(共有20+类别)，进行训练测试，发现所有的目标上均有一定程度的涨点效果，下面我会附上基础版本和修改版本的训练对比图。
YOLOv10改进｜采用ADown降采样模块有效融合
“365天深度学习训练营”报名进行中～
06-12 1096
理论上，正确流程应该是：通过理论推导，获取合理的改进方案（即：设计、修改、调整模块等等），通过实验验证方案的有效性，进而将成果转化为科研论文。我们能做的就是基于现有知识，对YOLOv10进行尝试性改进，一旦发现了某个突破口，则对该点进行展开分析，对改进方案进行深入研究探索。还是那句话，不是ADown模块的原理不重要，而是在做创新这件事情上，我们要功利一些。像我在前面提到的那样，现阶段以学习为主，尝试将自己的想法加以实践，进而实验验证。**第一步：**在block.py文件中新增ADown类。
YOLOV8改进：LSKA注意力机制改进SPPF模块_sppf_lska模块
2401_84010107的博客
04-13 1765
与标准的LKA设计相比，所提出的分解使得可以在注意力模块中直接使用具有大卷积核的深度卷积层，无需额外的块。作者还发现，随着卷积核大小的增加，所提出的LSKA设计更倾向于将VAN偏向物体的形状而不是纹理。总的来说，LSKA注意力机制通过利用大且可分离的卷积核以及空间扩张卷积来捕捉图像的广泛上下文信息，生成注意力图，并通过这个注意力图加权原始特征，以此增强网络对于重要特征的关注度，提高模型的性能。与标准的LKA设计相比，所提出的分解使得可以在注意力模块中直接使用具有大卷积核的深度卷积层，无需额外的块。
YOLOv8改进模块之C2f_Bottleneck_BoT
Lijie_yzm的博客
11-29 2621
针对YOLOv8的梯度分流模块C2f，我们在其最后一层的bottleneck之后添加了Bottleneck Transformer(BoT)，从而得到了C2f_Bottleneck_BoT模块，并且将该模块替换掉YOLOv8颈部网络中的所有C2f模块。经过实验表明，改进后的模型均值平均精度有所增加。
YOLOv8改进：融合Gold-YOLO Neck(RepGDNeck)
羲洋的博客
11-06 4885
YOLOv8改进：融合Gold-YOLO Neck(RepGDNeck)
YOLOv9全网最新改进系列：YOLOv9融合HCF-NET网络中的PPA模块，红外小目标实验证明针对小目标的改进具有出色表现！
B站 Ai学术叫叫兽的文案地
05-08 1268
YOLOv9全网最新改进系列：YOLOv9融合HCF-NET网络中的PPA模块，红外小目标实验证明针对小目标的改进具有出色表现！
YOLOV8改进——添加ShuffleAttention注意力机制
qq_62047193的博客
06-23 672
在ultralytics/cfg/datasets/ 下新建data.yaml。
YOLOV8改进：soft-nms、DIOU-nms、SIOU-nms、EIOU-nms、WIOU-nms
weixin_45303602的博客
10-11 7059
NMS（Non-Maximum Suppression，非极大值抑制）是一种常用的目标检测算法，用于抑制冗余的边界框，保留最具代表性的目标框。在目标检测任务中，通常会生成多个候选边界框（bounding box），每个边界框都对应着一个可能的目标。然而，由于图像中可能存在多个重叠的边界框，为了提取出最准确的目标框，需要使用NMS来进行筛选。首先，根据目标框的置信度（或者其他评分指标），按照降序排列所有的候选框。选择具有最高置信度的框，并将其添加到最终输出的结果列表中。
YOLOv8改进 更换多层池化操作主干网络PoolFormer
分享一些自己改进代码的实例
12-30 2048
本文更换yolov8原始的网络结构为多层池化操作主干网络PoolFormer，能够在不同的图像分辨率下保持较好的分割性能。助力涨点！！！
repvit
03-10
### RepViT 模型架构 RepViT 是一种新型的神经网络架构，旨在从视觉变换器（Vision Transformer, ViT）的角度重新审视移动设备上的卷积神经网络（CNN）。这种设计融合了两种不同类型的模型优势，在保持计算效率的同时提升了性能[^1]。 #### 架构特点 - **多尺度特征提取**：RepViT 利用了分层结构来进行多尺度特征的学习。每一层都包含了若干个重复使用的模块，这些模块内部集成了局部感知机制与全局注意力机制。 - **可重参数化组件**：为了提高训练过程中的稳定性和泛化能力，RepViT 中引入了一些特殊的操作符，它们可以在推理阶段被转换成更简单的形式而不损失精度。 - **灵活配置选项**：存在多种版本如 RepViT-M1、M2 和 M3，各自拥有不同的通道数量和堆叠层数设置，从而允许开发者根据不同应用场景的需求调整资源消耗水平[^3]。 ```python import torch.nn as nn class RepViTBlock(nn.Module): def __init__(self, in_channels, out_channels, kernel_size=3, stride=1, padding=1): super(RepViTBlock, self).__init__() self.conv = nn.Conv2d(in_channels, out_channels, kernel_size, stride, padding) def forward(self, x): return self.conv(x) ``` ### 应用场景 RepViT 主要应用于计算机视觉领域内的各种任务，特别是那些对于速度敏感的应用程序，比如实时物体识别或者边缘端部署的任务。由于其高效的特性，使得它非常适合用于智能手机和平板电脑等低功耗平台之上执行复杂的图像处理工作流[^5]。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值