YOLOv11 改进 - 特征融合 | 引入聚集-分发机制:Gather-and-Distribute 优化特征金字塔信息流与多尺度特征融合效率

部署运行你感兴趣的模型镜像

前言

本文介绍了先进的收集与分发机制(GD)及其在YOLOv11中的结合应用。GD机制通过卷积和自注意力操作实现,基于此设计的Gold - YOLO模型增强了多尺度特征融合能力,实现了延迟与精度的平衡。此外,首次在YOLO系列中引入MAE风格的预训练。我们将Gold - YOLO相关模块集成进YOLOv11,替换部分模块。实验表明,改进后的YOLOv11在COCO val数据集上取得了更好的性能 。

文章目录: YOLOv11改进大全:卷积层、轻量化、注意力机制、损失函数、Backbone、SPPF、Neck、检测头全方位优化汇总

专栏链接: YOLOv11改进专栏

介绍

179f5288bf0a77da8b0fcf833f73d608.png

摘要

近年来,YOLO系列模型在实时目标检测领域成为了领先的方法。许多研究通过修改架构、数据增强和设计新的损失函数将基线性能推向了更高的水平。然而,我们发现尽管特征金字塔网络(FPN)和路径聚合网络(PANet)在一定程度上缓解了信息融合问题,但以往的模型仍然存在该问题。为此,本研究提出了一种先进的收集与分发机制(Gather-and-Distribute Mechanism,简称GD),该机制通过卷积和自注意力操作实现。我们设计的新模型被命名为Gold-YOLO,其增强了多尺度特征融合能力,并在各个模型规模中实现了理想的延迟与精度平衡。

此外,我们首次在YOLO系列中引入了MAE风格的预训练,使YOLO系列模型能够从无监督预训练中获益。Gold-YOLO-N在COCO val数据集上取得了39.9%的AP,并在T4 GPU上实现了1030 FPS的推理速度,相较于具有类似FPS的之前SOTA模型YOLOv6-3.0-N,性能提升了+2.4%。
PyTorch代码可在 https://github.com/huawei-noah/EfficientComput

您可能感兴趣的与本文相关的镜像

Yolo-v5

Yolo-v5

Yolo

YOLO(You Only Look Once)是一种流行的物体检测和图像分割模型,由华盛顿大学的Joseph Redmon 和Ali Farhadi 开发。 YOLO 于2015 年推出,因其高速和高精度而广受欢迎

为了提升实时对象识别性能,Gold-YOLO模型集成了Gather-Distribute(GD)机制和自注意力操作,旨在加强多尺度特征的融合。具体来说,GD机制首先对低分辨率特征进行聚集处理,捕捉全局上下文信息,并通过自注意力机制将这些信息分布到不同尺度的特征图中。这样的特征融合不仅增强了模型对小尺寸目标的检测能力,也提高了对复杂背景中目标的识别精度。 参考资源链接:[华为 Gold-YOLO: 实时目标检测的新突破——融合分布机制](https://wenku.csdn.net/doc/1spjwrxggd?spm=1055.2569.3001.10343) 在GD机制中,'聚集'部分通过卷积操作聚合特征,将关键信息从背景中分离出来,而'分布'部分则利用自注意力操作将聚合后的信息分布到各个尺度上,确保每个尺度的特征图都能够获得足够的全局信息。这种操作能够有效地减少模型在处理多尺度目标时的误判,提高目标定位的精确度。 自注意力操作的引入,让模型在进行信息融合时能够自动学习特征间的依赖关系,这不仅提升了特征融合的质量,也降低了因尺度变化导致的目标信息丢失。通过这种方式,Gold-YOLO在保持实时检测速度的同时,显著提高了检测的准确性。 结合GD机制和自注意力操作的Gold-YOLO,不仅在基准测试中取得了优异的成绩,而且在实际应用中也展示了强大的鲁棒性和适应性,特别是在处理高速变化的场景或不同尺寸目标的检测任务时表现出色。 参考资源链接:[华为 Gold-YOLO: 实时目标检测的新突破——融合分布机制](https://wenku.csdn.net/doc/1spjwrxggd?spm=1055.2569.3001.10343)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

魔改工程师

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值