RT-DETR改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题

最新推荐文章于 2025-04-29 00:15:27 发布
最新推荐文章于 2025-04-29 00:15:27 发布
阅读量456 收藏
点赞数 3
分类专栏： RT-DETR改进专栏 文章标签： RT-DETR YOLO 深度学习 计算机视觉 目标检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42591591/article/details/145285718
版权

一、本文介绍

本文主要利用FreqFusion结构改进RT-DETR的目标检测网络模型。FreqFusion结构针对传统特征融合在密集图像预测中存在的问题，创新性地引入自适应低通滤波器生成器、偏移量生成器和自适应高通滤波器生成器。将FreqFusion应用于RT-DETR的改进过程中，能够使模型在处理复杂场景图像时，更精准地聚焦目标物体边界，减少背景噪声干扰，显著强化目标物体边界特征表达，进而提升模型在复杂场景下对目标物体的检测精度与定位准确性。

专栏目录：RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

专栏地址：RT-DETR改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！

文章目录

了解本专栏 订阅专栏 解锁全文
YOLOv10改进策略【Neck】| ECCV-2024 RCM 矩形自校准模块 优化颈部网络
Limiiiing的博客
11-07 285
现有轻量级模型在特征表示能力上受限，难以对前景对象的边界进行建模和区分类别，导致边界分割不准确和分类错误。为了解决这些问题，设计了矩形自校准模块（RCM）来提高前景对象的位置建模能力，并引入金字塔上下文来改善特征表示。
RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
12-03 7813
1️⃣本专栏已更新150多种不同的改进方法，所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行。2️⃣所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，紧跟学术热点，适应不同的任务场景。3️⃣团队内发表数篇SCI论文，熟悉完整的发表流程，订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容。4️⃣专栏内容会持续更新，最近更新时间：2024-12-4。项目介绍在大家购买专栏后，加入学习
RTDETR改进专栏(包含RTDETR、YOLOV5-DETR、YOLOV8-DETR)
qq_37706472的博客
01-28 2万+
RTDETR改进专栏(性价比高，创新度高)，目前RTDETR改进已经有210+个改进点！
YOLOv12改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
03-10 4468
1️⃣ 什么！不知道如何改进模型⁉️ 本专栏所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行，性价比极高。2️⃣ 找不到合适的模块⁉️ 所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，并进行二次创新，新颖度高，创新度高，能够适应不同的任务场景。3️⃣ 不确定自己改进的步骤、结果是否正确⁉️ 订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容，非常适合新手。4️⃣ 团队内发表数篇SCI论
YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
10-11 1万+
如今各种网络模型更新迭代越来越快，计算机视觉相关的文章也越来越多，多到一些普通，通用的改进点无法达到发表的要求。本专栏正是解决这个问题！如何寻找创新点？为什么要使用这个模块？如何才能提升模型的精度？这是贯穿我们研究始终的问题。创新点在这个专栏中我已经整理好了，这已经省去了大部分时间，但是当我们使用这些新的模块去优化已有的模型，如何才能提升模型的精度，才是我们要达到的最终目标。当然我们可以使用传统的A+B+C的方法去堆积模块，然后是进行大量的实验去排列组合以实现最终的精度提升，这无可厚非。
YOLOv8改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
12-24 4441
1️⃣本专栏已更新150多种不同的改进方法，所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行。2️⃣所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，紧跟学术热点，适应不同的任务场景。3️⃣团队内发表数篇SCI论文，熟悉完整的发表流程，订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容。4️⃣专栏内容会持续更新，最近更新时间：2024-12-24。项目介绍在大家购买专栏后，加入学
YOLOv10改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
10-11 5703
如何寻找创新点？为什么要使用这个模块？如何才能提升模型的精度？这是贯穿我们研究始终的问题。创新点在这个专栏中我已经整理好了，这已经省去了大部分时间，但是当我们使用这些新的模块去优化已有的模型，如何才能提升模型的精度，才是我们要达到的最终目标。当然我们可以使用传统的A+B+C的方法去堆积模块，然后是进行大量的实验去排列组合以实现最终的精度提升，这无可厚非。
YOLOV11|YOLO12改进系列指南
qq_37706472的博客
10-18 5万+
YOLOV11V12改进系列指南，仅仅69.9包含YOLOV11V12模型改进方案、含有320+种改进的集合，且含有多种二次创新和原创改进！
YOLOV8V10改进系列指南
热门推荐
qq_37706472的博客
02-19 9万+
YOLOV8V10改进系列指南，仅仅69.9包含YOLOV8、YOLOV10的两个主流模型改进方案、含有260+种改进的集合，且含有多种二次创新和原创改进！
RT-DETR改进有效系列目录 | 包含卷积、主干、RepC3、注意力机制、Neck上百种创新机制
Snu77的博客
01-29 2万+
Hello，各位读者们好Hello，各位读者，距离第一天发RT-DETR的博客已经过去了接近两个月，这段时间里我深入的研究了一下RT-DETR在ultralytics仓库的使用，旨在为大家解决为什么用v8的仓库训练的时候模型不收敛，精度差的离谱的问题，我也是成功的找到了解决方案，对于ultralytics仓库进行多处改进从而让其还原RT-DETR官方的实验环境从而达到一比一的效果。同时本人一些讲解视频和包含我所有创新的RT-DETR文档。
RT-DETR改进策略【Neck】| GFPN 超越BiFPN 通过跳层连接和跨尺度连接改进RT-DETR颈部网络
Limiiiing的博客
11-16 1188
本文记录的是利用颈部结构优化RT-DETR的目标检测网络模型。利用改进后的颈部网络，通过跳层连接，避免了在进行反向传播时的梯度消失问题，并且引入跨尺度连接，可以实现不同级别和层次的特征充分融合，获取足够的高层语义信息和低层空间信息交换，从而在大规模变化场景下提高检测性能。GIRAFFEDET: A HEAVY-NECK PARADIGM FOR OBJECT DETECTION-GFPN包含了上述的跳层连接（dense-link和log2nlog _{2} nlog2​n-link）以及跨尺度连接（Quee
RT-DETR改进策略【RT-DETR和Mamba】| MLLA：Mamba-Like Linear Attention，融合Mamba设计优势的注意力机制
Limiiiing的博客
11-28 744
本文记录的是利用模块优化的目标检测网络模型。模块具有独特优势。它不同于传统模块，能同时兼顾局部特征高效建模与长距离交互学习。常见模块要么在局部特征处理上有优势但长距离交互能力弱，要么反之，而模块克服了此问题。它融合了Mamba模型和线性注意力机制的优势，通过独特的结构设计，能够在保持计算效率的同时，精准地建模局部特征并学习长距离交互信息。本文将其用于的模型改进和二次创新，能够更加关注图像中的重要特征区域，抑制背景等无关信息的干扰，从而突出目标物体的关键特征。Demystify Mamba in Vision
YOLO12改进-模块-引入HaloNet 局部自注意力HaloNet local self-attention 自注意力机制轻量化
qq_64693987的博客
04-28 894
分块局部自注意力（Blocked Local Self-Attention）该方法将计算复杂度从 O (N²) 降至 O (B²)，同时通过 Halo 区域实现跨块信息传递，平衡了局部细节与全局上下文。分块策略：将图像划分为 B×B 的非重叠块，每个块作为查询区域（Query Block）。Halo 区域扩展：每个查询块周围扩展 H×H 的 Halo 区域，形成 (B+2H)×(B+2H) 的邻域块（Key/Value Block）。Halo 区域允许相邻块的信息交互，扩大感受野。注意力计算。
Yolov8导出onnx显示每层输出shape的方法
qq_44908396的博客
04-28 217
文章展示了为onnx模型增加每层输出张量shape的方法
基于YOLO的瓷砖缺陷检测系统设计与实现（附数据集+源码）
最新发布
qq_36224726的博客
04-29 917
本文实现的系统展示了深度学习与传统工业检测结合的强大潜力。通过YOLO算法的高精度检测能力，配合精心设计的GUI界面，为制造业质量管控提供了可靠的技术工具。
基于OpenMV+STM32+OLED与YOLOv11+PaddleOCR的嵌入式车牌识别系统开发笔记
weixin_46221106的博客
04-26 2156
本文融入了实际开发中获得的宝贵经验，特别是针对嵌入式设备与云端协同AI系统的优化策略。主要是通过OpenMV端收集得到图像，通过wifi模块将数据传递给PyTorch进行数据处理，得到返回的数据后再OLED上进行显示，实物如下图所示。：在本地做智能预筛选（如车牌定位），云端执行复杂OCR，实现精度与延迟的最佳平衡。：通过C++扩展实现OpenMV的NEON指令加速，使图像预处理速度提升3倍。：采用向前兼容的二进制协议，通过version字段实现无缝升级。WebSocket推送结果。
将多边形标注数据转为YOLO的txt格式
m0_55951222的博客
04-26 162
格式：一对一对的浮点数，表示多边形顶点的 x 和 y 坐标。坐标是归一化的，即值范围在 [0, 1] 之间，分别表示相对于图像的宽度和高度。
BoxMOT：Yolov8+多目标跟踪方案_笔记1
m0_60657960的博客
04-28 251
【代码】BoxMOT：Yolov8+多目标跟踪方案。
ubantu部署yolov5（第一集：环境的安装与配置）
qq_62737390的博客
04-27 298
默认路径为/home/您的用户名/miniconda3，直接按Enter即可，或输入自定义路径。不同虚拟环境的库文件不同。所以进入不同的虚拟环境，执行下面这个指令，回显不同。2.根据选型，下面有指令，直接复制指令在虚拟环境中执行。打开虚拟环境，之后进入python，之后执行下面代码。如果成功打印出torch的版本，那么下载成功。：按Enter键逐页阅读，或者按Q退出阅读。3.运行脚本，安装miniconda。一、miniconda的安装与使用。①：miniconda的安装。1.下载最新的安装脚本。
RT-DETR改进专栏
12-29
### RT-DETR 的改进方法 为了提升实时目标检测的效果，RT-DETR引入了多种创新机制来优化模型性能。具体来说： #### 双动态令牌混合器（D-Mixer） 双动态令牌混合器是一种新颖的设计，旨在更有效地融合全局和局部信息。通过这种方式，模型能够在更大范围内捕捉特征，并增强其归纳偏置能力[^3]。 这种设计允许模型根据输入数据自适应调整关注区域，从而提高对复杂场景的理解能力和鲁棒性。相比于传统的方法，这种方法可以显著增加有效感受野（ERF），进而改善整体检测精度。 ```python class D_Mixer(nn.Module): def __init__(self, config): super(D_Mixer, self).__init__() # 定义用于处理全局和局部信息的组件 def forward(self, x): global_info = self.global_mechanism(x) local_info = self.local_mechanism(x) mixed_output = torch.cat((global_info, local_info), dim=1) return mixed_output ``` ### 最新研究进展 最新的研究表明，采用双动态令牌混合器后，RT-DETR系列模型在多个公开测试集上的表现均有明显进步。特别是在COCO val2017数据集中，不同版本的RT-DETR取得了如下成绩： - **RT-DETR-L**: 实现了53.0%的AP以及114 FPS的速度； - **RT-DETR-X**: 达到了更高的54.8% AP 和 74 FPS 的速度； - **RT-DETR-R50**: 提供了53.1% AP 和 108 FPS 的平衡选项； - **RT-DETR-R101**: 则进一步提升了至54.3% AP 和同样74 FPS 的速度[^1]。 这些结果显示，在不牺牲速度的前提下，RT-DETR能够提供更加精确的目标检测结果，成为该领域内新的标杆之一。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Limiiiing

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值