RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

必读内容📖

1️⃣ 什么！不知道如何改进模型⁉️ 本专栏已更新150多种不同的改进方法，所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行，性价比极高。

2️⃣ 找不到合适的模块⁉️ 所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到RT-DETR中，并进行二次创新，新颖度高，创新度高，能够适应不同的任务场景。

3️⃣ 不确定自己改进的步骤、结果是否正确⁉️ 订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容，非常适合新手。

4️⃣ 团队内发表数篇SCI论文，熟悉完整的发表流程，已帮助多名同学成功发表论文。

专栏内容每周更新3-5篇，专栏实时评分97，全网最高，质量保证。专栏价格会随着文章数量的增加而增加，早订阅早优惠~
前60人限时优惠！ 一次订阅，永久使用！ 🎫 可开发票用于报销。

5️⃣ 专栏内容会持续更新，最近更新时间：2025-4-19。

全新的RT-DETR，更易发文！！！

RT-DETR-l 模型结构🌟

RT-DETR改进目录一览（持续更新中ing🚀）

项目介绍

在大家购买专栏后，加入学习群便可获得全部的程序文件，下方仅为列出的部分文件截图。在获取到文件后，只需按照将程序放在个人项目中即可运行，训练。群内有我录制的关于如何改进模型的视频，方便大家下载学习。可自行组合成不同的模块，实现针对你数据集的有效涨点。

专栏购买链接：RT-DETR改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！

---

项目环境版本如下（按照个人硬件配置即可）

• Python：3.8.10
• PyTorch：2.0.0
• CUDA：11.8
• 编辑器：VS Code
• Ultralytics：8.3.13

---

🎓— 基础篇— 🎓

1、RT-DETR训练自己的数据集（从代码下载到实例测试）🌟

2、RT-DETR改进前必看 - Ultralytics调参 1：1还原RT-DETR官方版本实验环境，更方便改进🌟

3、使用AutoDL训练RT-DETR等计算机视觉网络模型（AutoDL+Xftp+VS Code），附详细操作步骤🌟

4、RT-DETR目标检测模型性能评价指标详解，涉及混淆矩阵、F1-Score、IoU、mAP、参数量、计算量等，一文打尽所有评价指标🌟

5、RT-DETR训练前的准备，将数据集划分成训练集、测试集验证集（附完整脚本及使用说明）

6、RT-DETR模型结构详解，在Ultralytics项目中配置rtdetr-resnet18、rtdetr-resnet34🌟

7、RT-DETR论文阅读：DETRs Beat YOLOs on Real-time Object Detection

8、RT-DETR模型应用过程中的报错处理及疑问解答，涉及环境搭建、模型训练、模块改进、论文写作🌟

9、RT-DETR改进入门篇 | 手把手讲解改进模块如何实现高效涨点，以SimAM注意力模块为例🌟

10、RT-DETR在新版本的ultralytics项目包如何配置添加新的模块（base_modules、repeat_modules）🌟

---

🎓论文写作 — 丰富工作量🎓

1、论文必备 - RT-DETR输出模型每一层的耗时和GFLOPs，深入比较每一层模块的改进效果🌟

2、论文必备 - RT-DETR统计数据集中大、中、小目标数量，附完整代码和详细使用步骤🌟

3、论文必备 - 绘制RT-DETR模型在训练过程中，精准率，召回率，mAP_0.5，mAP_0.5:0.95，以及各种损失的变化曲线🌟

4、论文必备 - RT-DETR热力图可视化，支持指定模型，指定显示层，设置置信度，以及10种可视化实现方式🌟

5、论文必备 - RT-DETR训练前一键扩充数据集，支持9种扩充方法，支持图像和标签同步扩充🌟

6、论文必备 - RT-DETR计算COCO指标和TIDE指标，小目标检测必备，更全面的评估和指导模型性能，包含完整步骤和代码🌟

---

📈卷积层 — 发文常客📈

1、RT-DETR改进策略【卷积层】| CGblock 内容引导网络 利用不同层次信息，提高多类别分类能力 （含二次创新）🌟

2、RT-DETR改进策略【卷积层】| CVPR-2020 Strip Pooling 空间池化模块 处理不规则形状的对象 含二次创新🌟

3、RT-DETR改进策略【卷积层】| 2024最新轻量级自适应提取模块 LAE 即插即用 保留局部信息和全局信息🌟

4、RT-DETR改进策略【卷积层】| ECCV-2024 小波卷积WTConv 增大感受野，降低参数量计算量，独家创新助力涨点🌟

5、RT-DETR改进策略【卷积层】| CVPR-2021 多样分支块DBB，替换下采样模块 并二次创新ResNetLayer

6、RT-DETR改进策略【卷积层】| RCS-OSA 通道混洗的重参数化卷积 二次创新ResNetLayer🌟

7、RT-DETR改进策略【卷积层】| SPD-Conv 针对小目标和低分辨率图像的检测任务🌟

8、RT-DETR改进策略【卷积层】| ICCV-2023 SAFM 空间自适应特征调制模块 对ResNetLayer进行二次创新🌟

9、RT-DETR改进策略【卷积层】| AKConv： 具有任意采样形状和任意参数数量的卷积核

10、RT-DETR改进策略【卷积层】| CVPR-2024 利用DynamicConv 动态卷积 结合ResNetLayer进行二次创新,提高精度🌟

11、RT-DETR改进策略【卷积层】| 引入注意力卷积模块RFAConv，关注感受野空间特征 助力RT-DETR精度提升🌟

12、RT-DETR改进策略【卷积层】| HWD，引入Haar小波变换到下采样模块中，减少信息丢失🌟

13、RT-DETR改进策略【卷积层】| NeurIPS-2022 ParNet 即插即用模块 二次创新ResNetLayer

14、RT-DETR改进策略【卷积层】| SAConv 可切换的空洞卷积 二次创新ResNetLayer

15、RT-DETR改进策略【卷积层】| GnConv：一种通过门控卷积和递归设计来实现高效、可扩展、平移等变的高阶空间交互操作

16、RT-DETR改进策略【卷积层】| ICCV-2023 引入Dynamic Snake Convolution动态蛇形卷积，改进ResNetLayer🌟

17、RT-DETR改进策略【卷积层】| 利用MobileNetv4中的UIB、ExtraDW优化ResNetLayer🌟

18、RT-DETR改进策略【卷积层】| ICCV-2023 LSK大核选择模块 包含ResNetLayer二次独家创新🌟

19、RT-DETR改进策略【卷积层】| CVPR-2023 部分卷积 PConv 轻量化卷积，降低内存占用🌟

20、RT-DETR改进策略【卷积层】| CVPR-2023 SCConv 空间和通道重建卷积：即插即用，减少冗余计算并提升特征学习🌟

21、RT-DETR改进策略【卷积层】| CVPR-2024 PKI Module 获取多尺度纹理特征，适应尺度变化大的目标🌟

22、RT-DETR改进策略【卷积层】| RFEM：感受野增强模块， 解决多尺度目标检测中因感受野不足导致的小目标信息丢失问题🌟

---

🍀Backbone/主干网络🍀

1、RT-DETR改进策略【Backbone/主干网络】| 2023 U-Net V2 替换骨干网络，加强细节特征的提取和融合🌟

2、RT-DETR改进策略【Backbone/主干网络】| 替换骨干网络为：Swin Transformer，提高多尺度特征提取能力

3、RT-DETR改进策略【Backbone/主干网络】| ICLR-2023 替换骨干网络为：RevCol 一种新型神经网络设计范式🌟

4、RT-DETR改进策略【Backbone/主干网络】| 替换骨干网络为2023-CVPR LSKNet （附网络详解和完整配置步骤）🌟

5、RT-DETR改进策略【Backbone/主干网络】| 替换骨干网络为2023-CVPR ConvNeXt V2 （附网络详解和完整配置步骤）🌟

6、RT-DETR改进策略【Backbone/主干网络】| 替换骨干网络为CVPR-2024 PKINet 获取多尺度纹理特征，适应尺度变化大的目标🌟

7、RT-DETR改进策略【Backbone/主干网络】| CVPR 2024 替换骨干网络为 RMT，增强空间信息的感知能力🌟

8、RT-DETR改进策略【Backbone/主干网络】| CVPR 2024替换骨干网络为 UniRepLKNet，解决大核 ConvNets 难题🌟

---

🔥Conv和Transformer — 发文热点🔥

1、RT-DETR改进策略【Conv和Transformer】| ICCV-2023 iRMB 倒置残差移动块 轻量化的注意力模块🌟

2、RT-DETR改进策略【Conv和Transformer】| CVPR-2022 Deformable Attention Transformer 可变形注意力 动态关注目标区域🌟

3、RT-DETR改进策略【Conv和Transformer】| 2023 引入CloFormer中的Clo block 双分支结构，融合高频低频信息（二次创新AIFI）🌟

4、RT-DETR改进策略【Conv和Transformer】| GRSL-2024最新模块 卷积和自注意力融合模块 CAFM 减少图像中的噪声干扰🌟

5、RT-DETR改进策略【Conv和Transformer】| 上下文转换器CoT 结合静态和动态上下文信息的注意力机制 (含二次创新)

6、RT-DETR改进策略【Conv和Transformer】| ACmix 卷积和自注意力的结合，充分发挥两者优势🌟

7、RT-DETR改进策略【Conv和Transformer】| CVPR-2024 Single-Head Self-Attention 单头自注意力🌟

8、RT-DETR改进策略【Conv和Transformer】| TPAMI-2024 Conv2Former 利用卷积调制操作和大核卷积简化自注意力机制，提高网络性能🌟

9、RT-DETR改进策略【Conv和Transformer】| CVPR-2021 Bottleneck Transformers 简单且高效的自注意力模块

10、RT-DETR改进策略【Conv和Transformer】| 2024 AssemFormer 结合卷积与 Transformer 优势，弥补传统方法不足🌟

11、RT-DETR改进策略【Conv和Transformer】| CVPR-2023 BiFormer 稀疏自注意力，减少内存占用🌟

12、RT-DETR改进策略【Conv和Transformer】| ECCV-2024 Histogram Transformer 直方图自注意力 适用于噪声大，图像质量低的检测任务🌟

13、RT-DETR改进策略【Conv和Transformer】| HiLo注意力机制 通过分离处理图像的高频和低频信息，高效处理图像特征🌟

---

🔥RT-DETR和Mamba — 最新热点🔥

1、RT-DETR改进策略【RT-DETR和Mamba】| MLLA：Mamba-Like Linear Attention，融合Mamba设计优势的注意力机制🌟

2、RT-DETR改进策略【RT-DETR和Mamba】| 替换骨干 Mamba-RT-DETR-T !!! 最新的发文热点🌟

3、RT-DETR改进策略【RT-DETR和Mamba】| 替换骨干 Mamba-RT-DETR-B !!! 最新的发文热点🌟

4、RT-DETR改进策略【RT-DETR和Mamba】| 替换骨干 Mamba-RT-DETR-L !!! 最新的发文热点🌟

5、RT-DETR改进策略【RT-DETR和Mamba】| Mamba-UNet (近期补充)🌟

---

🍀模型轻量化 — 加速推理🍀

1、RT-DETR改进策略【模型轻量化】| MoblieNet V4：2024 轻量化网络 移动生态系统的通用模型🌟

2、RT-DETR改进策略【模型轻量化】| MoblieNet V3：基于搜索技术和新颖架构设计的轻量型网络模型🌟

3、RT-DETR改进策略【模型轻量化】| ShuffleNet V1：一个用于移动设备的极其高效的卷积神经网络

4、RT-DETR改进策略【模型轻量化】| Shufflenet V2：通过通道划分构建高效网络，高效的CNN架构设计的实用指南🌟

5、RT-DETR改进策略【模型轻量化】| StarNet：CVPR-2024 超级精简高效的轻量化模块🌟

6、RT-DETR改进策略【模型轻量化】| MobileViT V1：高效的信息编码与融合模块，获取局部和全局信息

7、RT-DETR改进策略【模型轻量化】| GhostNet V1：基于 Ghost Module 和 Ghost Bottlenecks的轻量化网络结构

8、RT-DETR改进策略【模型轻量化】| GhostNet V2：NeurIPS-2022 Spotlight 利用远距离注意力增强廉价操作🌟

9、RT-DETR改进策略【模型轻量化】| RepViT：CVPR-2024 轻量级的Vision Transformers架构🌟

10、RT-DETR改进策略【模型轻量化】| FasterNet： CVPR-2023 高效快速的部分卷积块🌟

11、RT-DETR改进策略【模型轻量化】| VanillaNet：华为的极简主义骨干网络🌟

12、RT-DETR改进策略【模型轻量化】| EfficientViT：ICCV 2023 用于高分辨率密集预测的多尺度线性关注🌟

13、RT-DETR改进策略【模型轻量化】| PP-LCNet：轻量级的CPU卷积神经网络

14、RT-DETR改进策略【模型轻量化】| 替换骨干网络为EfficientNet v1 高效的移动倒置瓶颈结构🌟

15、RT-DETR改进策略【模型轻量化】| 替换骨干网络为EfficientNet v2，加速训练，快速收敛🌟

16、RT-DETR改进策略【模型轻量化】| 替换骨干网络为MoblieNetV1，用于移动视觉应用的高效卷积神经网络🌟

17、RT-DETR改进策略【模型轻量化】| 替换骨干网络为MoblieNetV2，含模型详解和完整配置步骤🌟

18、RT-DETR改进策略【模型轻量化】| 替换骨干网络为 GhostNet V3 2024华为的重参数轻量化模型🌟

19、RT-DETR改进策略【模型轻量化】| EMO：ICCV 2023，结构简洁的轻量化自注意力模型🌟

---

📈注意力机制篇 — 发文必备📈

1、RT-DETR改进策略【注意力机制篇】| 2024 PPA 并行补丁感知注意模块，提高小目标关注度🌟

2、RT-DETR改进策略【注意力机制篇】| WACV-2021 Triplet Attention 三重注意力模块 - 跨维度交互注意力机制优化🌟

3、RT-DETR改进策略【注意力机制篇】| ICCV2023 聚焦线性注意力模块 Focused Linear Attention 聚焦能力与特征多样性双重提升，含二次创新🌟

4、RT-DETR改进策略【注意力机制篇】| ICLR2023 高效计算与全局局部信息融合的 Sea_Attention 模块（含HGBlock二次创新）🌟

5、RT-DETR改进策略【注意力机制篇】| Mixed Local Channel Attention (MLCA) 同时融合通道、空间、局部信息和全局信息的新型注意力🌟

6、RT-DETR改进策略【注意力机制篇】| SENet V2 优化SE注意力机制，聚合通道和全局信息🌟

7、RT-DETR改进策略【注意力机制篇】| CVPRW-2024 分层互补注意力混合层 H-RAMi 针对低质量图像的特征提取模块🌟

8、RT-DETR改进策略【注意力机制篇】| CVPR-2023 FSAS 基于频域的自注意力求解器 结合频域计算和卷积操作 降低噪声影响🌟

9、RT-DETR改进策略【注意力机制篇】| Large Separable Kernel Attention (LSKA) 大核可分离卷积注意力 二次创新HGBlock、ResNetLayer🌟

10、RT-DETR改进策略【注意力机制篇】| WACV-2024 D-LKA 可变形的大核注意 针对大尺度、不规则的目标图像🌟

11、RT-DETR改进策略【注意力机制篇】| NAM 即插即用模块，重新优化通道和空间注意力（含HGBlock二次创新）

12、RT-DETR改进策略【注意力机制篇】| EMA 即插即用模块，提高远距离建模依赖（含HGBlock二次创新）

13、RT-DETR改进策略【注意力机制篇】| 2024 SCI TOP FCAttention 即插即用注意力模块，增强局部和全局特征信息交互🌟

14、RT-DETR改进策略【注意力机制篇】| 2024 SCSA-CBAM 空间和通道的协同注意模块（含HGBlock二次创新）🌟

15、RT-DETR改进策略【注意力机制篇】| CVPR2024 CAA上下文锚点注意力机制🌟

16、RT-DETR改进策略【注意力机制篇】| 2023 MCAttention 多尺度交叉轴注意力 获取多尺度特征和全局上下文信息🌟

17、RT-DETR改进策略【注意力机制篇】| GAM全局注意力机制： 保留信息以增强通道与空间的相互作用

18、RT-DETR改进策略【注意力机制篇】| 2024 蒙特卡罗注意力（MCAttn）模块，提高小目标的关注度🌟

19、RT-DETR改进策略【注意力机制篇】| ICML-2021 引入SimAM注意力模块（一个简单的，无参数的卷积神经网络注意模块）🌟

20、RT-DETR改进策略【注意力机制篇】| 引入Shuffle Attention注意力模块，增强特征图的语义表示

21、RT-DETR改进策略【注意力机制篇】| 添加SE、CBAM、ECA、CA、Swin Transformer等注意力和多头注意力机制

22、RT-DETR改进策略【注意力机制篇】| 引入MobileNetv4中的Mobile MQA，轻量化注意力模块 提高模型效率🌟

---

🚀损失函数篇🚀

1、RT-DETR改进策略【损失函数篇】| 利用MPDIoU，加强边界框回归的准确性

2、RT-DETR改进策略【损失函数篇】| Slide Loss，解决简单样本和困难样本之间的不平衡问题🌟

3、RT-DETR改进策略【损失函数篇】| 替换激活函数为Mish、PReLU、Hardswish、LeakyReLU、ReLU6

4、RT-DETR改进策略【损失函数篇】| 通过辅助边界框计算IoU提升检测效果(Inner_GIoU、Inner_DIoU、Inner_CIoU、Inner_EIoU、Inner_SIoU)

5、RT-DETR改进策略【损失函数篇】| Shape-IoU：考虑边界框形状和尺度的更精确度量🌟

6、RT-DETR改进策略【损失函数篇】| 2024 引进Focaler-IoU损失函数 加强边界框回归 (Focaler-DIoU、Focaler-GIoU、Focaler-CIoU)

7、RT-DETR改进策略【损失函数篇】| NWD损失函数，提高小目标检测精度🌟

8、RT-DETR改进策略【损失函数篇】| 将激活函数替换为带有注意力机制的激活函数 ARelu🌟

9、RT-DETR改进策略【损失函数篇】| WIoU v3：针对低质量样本的边界框回归损失函数🌟

---

🚀Neck — 加强特征融合🚀

1、RT-DETR改进策略【Neck】| GFPN 超越BiFPN 通过跳层连接和跨尺度连接改进RT-DETR颈部网络🌟

2、RT-DETR改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络，提高小目标检测精度🌟

3、RT-DETR改进策略【Neck】| 2023 显式视觉中心EVC 优化特征提取金字塔，对密集预测任务非常有效🌟

4、RT-DETR改进策略【Neck】| BiFPN：双向特征金字塔网络-跨尺度连接和加权特征融合🌟

5、RT-DETR改进策略【Neck】| GSConv+Slim Neck：混合深度可分离卷积和标准卷积的轻量化网络设计🌟

6、RT-DETR改进策略【Neck】| 有效且轻量的动态上采样算子：DySample

7、RT-DETR改进策略【Neck】| 使用CARAFE轻量级通用上采样算子

8、RT-DETR改进策略【Neck】| ECCV-2024 RCM 矩形自校准模块 优化颈部网络🌟

9、RT-DETR改进策略【Neck】| HS-FPN：高级筛选特征融合金字塔，加强细微特征的检测🌟

10、RT-DETR改进策略【Neck】| PRCV 2023，SBA（Selective Boundary Aggregation）：特征融合模块，描绘物体轮廓重新校准物体位置，解决边界模糊问题🌟

11、RT-DETR改进策略【Neck】| ArXiv 2023，基于U - Net v2中的的高效特征融合模块：SDI（Semantics and Detail Infusion）🌟

12、RT-DETR改进策略【Neck】| NeurIPS 2023 融合GOLD-YOLO颈部结构，强化小目标检测能力🌟

13、RT-DETR改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题🌟

14、RT-DETR改进策略【Neck】| SEAM：分离和增强注意模块，解决复杂场景下的小目标遮挡问题🌟

---

🚀Head/检测头🚀

1、RT-DETR改进策略【Head】| 增加针对 大目标 的检测层 （四个检测头）🌟

2、RT-DETR改进策略【Head】| 添加专用于小目标的检测层 P2 附YOLO系列的检测头变化详解🌟

---

🚀SPPF/空间金字塔池化🚀

1、RT-DETR改进策略【SPPF】| NeuralPS-2022 Focal Modulation : 使用焦点调制模块优化空间金字塔池化SPPF🌟

2、RT-DETR改进策略【SPPF】| SimSPPF，简化空间金字塔池化设计，提高计算效率

3、RT-DETR改进策略【SPPF】| 将特征金字塔池化修改为：SPPELAN ，多尺度特征提取与高效特征融合🌟

4、RT-DETR改进策略【SPPF】| 将特征金字塔池化修改为：SPPCSPC，提升模型的特征提取能力和计算效率🌟

---

🚀特殊场景 — 小目标改进🚀

1、RT-DETR改进策略【小目标改进】| Shape-NWD：融合改进，结合Shape-IoU和NWD 更好地适应小目标特性🌟

2、RT-DETR改进策略【小目标改进】| 2024-TOP 自适应阈值焦点损失（ATFL）提升对小目标的检测能力🌟

3、RT-DETR改进策略【小目标改进】| 添加专用于小目标的检测层 附YOLO系列的检测头变化详解🌟

4、RT-DETR改进策略【小目标改进】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络，提高小目标检测精度🌟

5、RT-DETR改进策略【小目标改进】| NWD损失函数，提高小目标检测精度🌟

6、RT-DETR改进策略【小目标改进】| 2024 PPA 并行补丁感知注意模块，提高小目标关注度🌟

7、RT-DETR改进策略【小目标改进】| 2024 蒙特卡罗注意力（MCAttn）模块，提高小目标的关注度🌟

8、RT-DETR改进策略【小目标改进】| SPD-Conv 针对小目标和低分辨率图像的检测任务🌟

9、RT-DETR改进策略【小目标改进】| NeurIPS 2023 融合GOLD-YOLO颈部结构，强化小目标检测能力🌟

10、RT-DETR改进策略【小目标改进】| RFEM：感受野增强模块， 解决多尺度目标检测中因感受野不足导致的小目标信息丢失问题🌟

11、RT-DETR改进策略【小目标改进】| SEAM：分离和增强注意模块，解决复杂场景下的小目标遮挡问题🌟

---

🎓独家融合改进 — 达到论文发表要求🎓

1、RT-DETR改进策略【独家融合改进】| Mamba-YOLO+SDI 增强长距离依赖，聚焦目标特征🌟

2、RT-DETR改进策略【独家融合改进】| 模型轻量化二次改进：StarNet + FreqFusion，极限降参，适用专栏内所有轻量化模型🌟

3、RT-DETR改进策略【独家融合改进】| MobileNetV4+BiFPN，轻量化+加权特征融合，轻松实现降参涨点🌟

4、RT-DETR改进策略【独家融合改进】| RepVit+ASF-YOLO，轻量提点，适用专栏内所有的骨干替换🌟

5、RT-DETR改进策略【独家融合改进】| SPD-Conv+PPA 再次提升模型针对小目标的特征提取能力🌟

6、RT-DETR改进策略【独家融合改进】| AssemFormer + HS-FPN 减少目标尺度变化影响，增加多尺度的学习能力🌟

7、RT-DETR改进策略【独家融合改进】| U-Net V2 + 小目标检测头，加强跨尺度的上下文特征融合，提高小目标检测能力🌟

---

🔗模型剪枝🔗

待续~

---

🔗模型蒸馏🔗

待续~