YOLOV8改进：CVPR2023：加入EfficientViT主干：具级联组注意力的访存高效ViT

已于 2023-07-18 12:18:14 修改
阅读量2.5k 收藏 21
点赞数 1
分类专栏： YOLOV5/YOLOV7/YOLOV8改进 文章标签： YOLO python 深度学习 机器学习 人工智能
于 2023-07-18 11:51:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51530640/article/details/131783759
版权
本文介绍了针对YOLOv8的改进方法，通过引入EfficientViT提升模型性能。详细阐述了如何在任务解析、前向传播函数和训练器中进行代码修改，并提供了配置文件的更新说明。实验结果展示EfficientViT在保持高精度的同时，显著提高了运行速度。
摘要由CSDN通过智能技术生成

   1.该文章属于YOLOV5/YOLOV7/YOLOV8改进专栏，包含大量的改进方式，主要以2023年的最新文章和2022年的文章提出改进方式。
2.提供更加详细的改进方法，如将注意力机制添加到网络的不同位置，便于做实验，也可以当做论文的创新点。
2.涨点效果：添加EfficientViT，有效涨点。

论文地址

视觉变压器由于其高模型能力而取得了巨大的成功。然而，它们卓越的性能伴随着沉重的计算成本，这使得它们不适合实时应用。在这篇论文中，我们提出了一个高速视觉变压器家族，名为EfficientViT。我们发现现有的变压器模型的速度通常受到内存低效操作的限制，特别是在MHSA中的张量重塑和单元函数。因此，我们设计了一种具有三明治布局的新构建块，即在高效FFN层之间使用单个内存绑定的MHSA，从而提高了内存效率，同时增强了信道通信。此外，我们发现注意图在头部之间具有很高的相似性，从而导致计算冗余。为了解决这个问题，我们提出了一个级联的群体注意模块ÿ

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AICurator
关注
专栏目录
订阅专栏
YOLOv8改进系列，YOLOv8替换主干网络为MobileNetV3(轻量化架构+助力涨点)
weixin_44779079的博客
08-10 371
MobileNetV3通过结合硬件感知网络架构搜索（NAS）和NetAdapt算法，通过新颖的架构改进进一步提升了性能。本文开始探讨了自动化搜索算法与网络设计如何协同工作，以利用互补方法来提升整体技术水平。通过这一过程，创建了两个新的MobileNet模型：MobileNetV3-Large和MobileNetV3-Small，分别针对高资源和低资源使用场景。这些模型随后被适配并应用于目标检测和语义分割任务。
YOLOv8改进 | 注意力机制 | 正确的 Self-Attention 与 CNN 融合范式，性能速度全面提升【独家创新】
kay_545
06-13 1193
YOLOv8改进，yolov8，添加注意力机制
YOLOV8改进-添加Dynamic Snake Convolution-动态蛇形卷积
qq_69854365的博客
10-18 8646
ICCV 2023 | 动态蛇形卷积（Dynamic Snake Convolution）用于管状结构分割。能够完美添加到YOLOv8网络中，提高对细长目标的检测效果。
【超详细】基于YOLOv8改进1-Drone-YOLO复现
weixin_45679938的博客
05-20 2438
如下图，改进 3（加小目标分支）是提升最显著，为 6.8 个点，无人机小目标较多（P2 是 v8 自。改进 2：三明治结构（作者提出），相比于原先的 concat 操作，多融合了一个上层大尺度特征。（1）性能主要提升来自增加对小目标检测的 P2 层（即增加一个 160*160 的大尺度检测。如下图所示，在 yolov8-n 基础改进上，精度有所提升，参数变化不大，但是推理速度大幅。积核被合并为一个 3×3 卷积层。（2）增加 P2 分支与多支路融合虽然在模型参数方面略微增加，但推理耗时显著增加，不。
YOLOv8改进模块之C2f_Bottleneck_BoT
Lijie_yzm的博客
11-29 2000
针对YOLOv8的梯度分流模块C2f，我们在其最后一层的bottleneck之后添加了Bottleneck Transformer(BoT)，从而得到了C2f_Bottleneck_BoT模块，并且将该模块替换掉YOLOv8颈部网络中的所有C2f模块。经过实验表明，改进后的模型均值平均精度有所增加。
YOLOv8改进：融合Gold-YOLO Neck(RepGDNeck)
羲洋的博客
11-06 3261
YOLOv8改进：融合Gold-YOLO Neck(RepGDNeck)
YOLOV8改进——添加ShuffleAttention注意力机制
qq_62047193的博客
06-23 444
在ultralytics/cfg/datasets/ 下新建data.yaml。
YOLOV8改进：soft-nms、DIOU-nms、SIOU-nms、EIOU-nms、WIOU-nms
weixin_45303602的博客
10-11 5935
NMS（Non-Maximum Suppression，非极大值抑制）是一种常用的目标检测算法，用于抑制冗余的边界框，保留最具代表性的目标框。在目标检测任务中，通常会生成多个候选边界框（bounding box），每个边界框都对应着一个可能的目标。然而，由于图像中可能存在多个重叠的边界框，为了提取出最准确的目标框，需要使用NMS来进行筛选。首先，根据目标框的置信度（或者其他评分指标），按照降序排列所有的候选框。选择具有最高置信度的框，并将其添加到最终输出的结果列表中。
YOLOV5改进：CVPR2023：加入EfficientViT主干：具级联组注意力的访存高效ViT
m0_51530640的博客
07-18 1476
视觉变压器由于其高模型能力而取得了巨大的成功。然而，它们卓越的性能伴随着沉重的计算成本，这使得它们不适合实时应用。在这篇论文中，我们提出了一个高速视觉变压器家族，名为EfficientViT。我们发现现有的变压器模型的速度通常受到内存低效操作的限制，特别是在MHSA中的张量重塑和单元函数。因此，我们设计了一种具有三明治布局的新构建块，即在高效FFN层之间使用单个内存绑定的MHSA，从而提高了内存效率，同时增强了信道通信。此外，我们发现注意图在头部之间具有很高的相似性，从而导致计算冗余。
YOLOV8改进：CVPR 2023 | 在C2f模块不同位置添加EMA注意力机制，有效涨点
m0_51530640的博客
06-27 6787
显著的渠道或空间有效性注意力产生机制更加可辨特征表示用各种计算机进行了说明视觉任务。然而，跨通道建模关系与通道降维可能在提取深度视觉表征时带来副作用。本文提出了一种新的高效多尺度注意力(EMA)方法。模块提出。专注于保留信息每个通道上，并减少计算在上方，我们将部分通道重塑为批处理尺寸并将通道尺寸分组为多个子特征构成空间语义特性在每个特性组中分布良好。具体来说，除了将全局信息编码到重新校准每个平行通道的权重支路，两个并联支路的输出特征为的跨维度交互进一步聚合捕获像素级成对关系。
YOLOV5/YOLOV8改进：CVPR 2022 |EfficientViT：轻量级多尺度关注设备上语义分割
m0_51530640的博客
05-17 2574
视觉变压器因其较高的模型性能而取得了巨大的成功。然而，它们显著的性能伴随着沉重的计算成本，这使得它们不适合实时应用。在本文中，我们提出了一种被称为高效振动的高速视觉变压器。我们发现，现有的变压器模型的速度通常受到内存低效操作的限制，特别是在MHSA中的张量重塑和元素级函数。因此，我们设计了一个新的具有夹层布局的构建块，即在有效的FFN层之间使用单一内存绑定的MHSA，在提高内存效率的同时提高了信道通信。此外，我们发现注意力图在头部之间有很高的相似性，从而导致计算冗余。
YOLOv8改进：利用CVPR2024 DynamicConv替换下采样
最新发布
走向CTO的路上...
07-17 687
YOLOv8作为目前最先进的目标检测算法之一，在性能和精度方面都取得了显著进步。然而，YOLOv8模型中的下采样操作会造成信息损失，并增加模型的计算量。为了解决这些问题，本文提出了一种利用CVPR2024最新DynamicConv替换下采样方法，以提升模型精度和轻量化。])return xreturn x# ... 其他 YOLOv8 模型部分的代码 ...# ... 其他层 ...# ... 其他 YOLOv8 模型部分的代码 ...
YOLOV8改进：动态蛇形卷积，多视角特征融合策略与连续性拓扑约束损失
m0_51530640的博客
10-08 1851
1.该文章属于YOLOV5/YOLOV7/YOLOV8改进专栏，包含大量的改进方式，主要以2023年的最新文章和2022年的文章提出改进方式。2.提供更加详细的改进方法，如将注意力机制添加到网络的不同位置，便于做实验，也可以当做论文的创新点。3.涨点效果：动态蛇形卷积,实现有效涨点！精确分割拓扑管状结构;如血管和道路，是各种至关重要的现场，确保下游的准确性和效率任务。然而，许多因素使任务复杂化，包括薄的局部结构和可变的全局形态。
YOLOv8改进 添加新型卷积注意力框架SegNext_Attention
分享一些自己改进代码的实例
01-02 2870
本文在yolov8中加入新型卷积注意力框架SegNext_Attention，能够更好地利用全局上下文信息，并且能够对感兴趣的区域进行更加准确的注重，从而提高图像分割的性能。
Yolov8改进---注意力机制：ShuffleAttention、ECA、EffectiveSE、SE
热门推荐
05-08 1万+
注意力机制：ShuffleAttention、ECA、EffectiveSE、SE，并最终引入到Yolov8。同时在数据集下测试，均能涨点，涨点幅度为ShuffleAttention＞ECA＞EffectiveSE＞SE
YOLOV8改进：加入RCS-OSA模块，提升检测速度
2201_76125261的博客
10-04 1096
凭借速度和精度之间的良好平衡，前沿的YOLO框架已成为最有效的目标检测算法之一。然而，使用YOLO网络在脑肿瘤检测中的性能研究很少。提出了一种新的基于信道Shuffle的重参数化卷积YOLO架构(RCS-YOLO)。我们提出了RCS和RCS的一次聚合(RCS- osa)，将特征级联和计算效率联系起来，以提取更丰富的信息并减少时间消耗。在脑肿瘤数据集Br35H上的实验结果表明，该模型在速度和精度上均优于YOLOv6、YOLOv7和YOLOv8。
YOLOv8改进 更换轻量级网络结构
分享一些自己改进代码的实例
02-06 1549
手把手教你在yolov8原始结构中加入轻量化网络结构GhostNet，具有较低的计算复杂度和较高的准确性。
YOLOv8改进：构建新的C2f_RepGhost模块，针对Ghost进行重参数化，速度，mAP双提高！
Mirana
11-27 5591
请大家记住本号“YOLO歪瓜裂枣”，抵制搬运！这是作者在文中的实验结果图，对比实验结果图，证明提出的RepGhost模块的有效性。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AICurator

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值