论文学习：RT-DETR

最新推荐文章于 2025-03-12 07:00:00 发布
最新推荐文章于 2025-03-12 07:00:00 发布
阅读量1.2k 收藏 2
点赞数 2
文章标签： 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29589765/article/details/133097642
版权

RT-DETR

摘要

  • DETR取得显著性能，但高成本计算使其无法发挥无NMS的优势，无法实际应用。
  • 本文分析了NMS对准确性和速度的负面影响，并建立端到端的速度基准。
  • 第一个实时端到端检测器，高效处理多尺度特征，并提出IoU-aware query selection，向解码器提供了更高质量的初始object queries
  • 可以灵活调整解码器层数来调整推理速度，不需要重新训练。
  • 速度和精度都优于相同规模最先进的YOLO检测器。

介绍

  • 尽管多尺度特征的引入有利于加速训练收敛和提高性能[49]，但它也会导致编码器中序列长度的显著增加。
  • 设计了高效的混合编码器来取代原来的transformer编码器。解耦了多尺度特征的尺度内交互和尺度间融合。
  • 解码器的object queries初始化方案对检测性能至关重要，提出了IoU-aware query selection，通过在训练期间提供IOU约束来向解码器提供高质量的初始object queries
  • 可以灵活调整解码器层数来调整推理速度，不需要重新训练。
  • 文章贡献：1.第一个实时端到端对象检测器，速度精度达到SOTA。2.分析了NMS的影响。3.通过调整解码器层数，灵活调整推理速度不需要重新训练。

在这里插入图片描述

相关工作

  • 实时对象检测
最低0.47元/天 解锁文章
Plusmile1
关注
RT-DETR论文解读与代码
qq_52053775的博客
06-15 5490
目前以大名鼎鼎的YOLO为代表的基于CNN的实时监测网络需要NMS进行后处理，导致不能很好的优化网络，并且网络不够健壮，从而导致检测器的推理速度出现延迟。研究者也分析了Anchor-based和Anchor-free的YOLO的性能，发现Anchor并不是影响实时监测的关键要素，而NMS后处理彩色。DETR很好的解决了后处理对于模型的限制，却受限于Transformer巨大的计算量，无法发挥实时监测性。因此，作者想要重构detr,使其具有实时性。
RT-DETR改进前必看 - Ultralytics调参 1：1还原RT-DETR官方版本实验环境，更方便改进
Limiiiing的博客
11-21 3510
的项目文件中集成了YOLOv3v5v6v8v9v10rt-detr11以及其中不同大小的模型结构，更方便我们学习和使用。的参数配置在路径下，其中中设置了模型在训练Train验证Val/Test预测Predict可视化Visualize导出Export超参数Hyperparameters、以及跟踪Tracker的相关参数。在调参过程中主要涉及训练Train和超参数Hyperparameters。下面主要介绍一下初始超参数Hyperparameters。
RT-DETR改进|爆改模型|涨点|在CCFM模块中加入特征融合模块DFM（附代码+修改教程）
m0_51665349的博客
10-11 1909
本文修改的模型是RT-DETR，在原本的RT-DETR中，CCFM模块输出的多尺度特征图作为 IoU-aware Query Selection的输入。本文将骨干网络及AIFI模块输出的特征图与CCFM模块输出的特征图使用DFM模块进行特征融合。DFM是一种基于密集连接的简单而有效的特征融合模块，可以减少特征不对齐，并计算出更准确的变化特征。
【详细版】DETR系列之RT-DETR（2024 CVPR）
朴实无华的研究生活
03-12 2664
本文提出了一种名为RT-DETR的实时端到端目标检测器，解决了现有实时检测器在速度和精度上的问题。RT-DETR通过设计高效的混合编码器处理多尺度特征，并引入IoU感知查询选择来提高性能。实验结果显示，RT-DETR-L在COCO验证集上达到53.0%的平均精度(AP)，并在T4 GPU上达到114帧每秒(FPS)，而RT-DETR-X则达到54.8% AP和74 FPS，优于当前最先进的YOLO检测器。此外，RT-DETR-R50在精度和FPS方面也显著超越了其他同类检测器。
RTDETR论文快速理解和代码快速实现(训练与预测)
weixin_38252409的博客
12-20 7241
最近，我们想比较基于DETR的transformer模型与基于CNN的yolo模型效果，而百度RT-DETR模型声称“在实时目标检测领域打败YOLO”。从数据的角度来看，RT-DETR似乎确实在某些方面超越了YOLO。我选择RT-DETR模型与YOLO模型比较。本篇文章将介绍RT-DETR模型原理–>环境安装–>数据准备–>训练实现–>预测实现。近期，端到端基于transformer检测器DETRs已有显著性能。然而，DETR的计算成本限制其实际应用，也阻止其无后处理的优势(如：NMS)。
DETR系列：RT-DETR（一） 论文解析
lansebingxuan的专栏
06-26 2万+
实时目标检测(Real-Time Object Detection )过去一直由 YOLO 系列模型主导。YOLO 检测器有个较大的待改进点是需要 NMS 后处理，其通常难以优化且不够鲁棒，因此检测器的速度存在延迟。2020年DETR算法诞生，Detr是第一个基于transformer的端到端算法，没有anchor前处理和NMS后处理，但是Detr收敛慢，训练慢，推理也慢，尽管后续的优化算法不断加快收敛速度，提升推理速度，但仍然无法实现实时要求。
RT-DETR论文学习笔记（DETRs Beat YOLOs on Real-time Object Detection）
athrunsunny的博客
04-20 1万+
目标检测是一项基本的视觉任务，涉及识别和定位图像中的目标。现代目标检测器有两种典型的体系结构：基于CNN，基于Transformer。在过去的几年里，人们对基于CNN的目标检测器进行了广泛的研究。这些检测器的架构已经从最初的两阶段发展到一阶段，并且出现了两种检测范式，Anchor-Base和Anchor-Free。这些研究在检测速度和准确性方面都取得了重大进展。基于Transformer的目标检测器（DETR）由于消除了各种手工设计的组件，如非最大值抑制（NMS），自提出以来，受到了学术界的广泛关注。
RT-DETR
whaosoft143ai的博客
04-20 1927
实时目标检测中击败YOLO家族？来看看百度飞桨的PaddleDetection团队提出的 RT-DETR究竟强在哪里。众所周知，实时目标检测(Real-Time Object Detection)一直被YOLO系列检测器统治着，YOLO版本更是炒到了v8，前两天百度飞桨的PaddleDetection团队发布了一个名为 RT-DETR 的检测器，宣告其推翻了YOLO对实时检测领域统治。whaosoft aiot http://143ai.com
学习笔记：RT-DETR训练自己的数据集(Pytorch)
x_rain_jay的博客
07-03 2450
简单按照参考文章1下载代码并尝试运行流程：前面与其保持一致，在第二步选择了自制数据集，因此在第三步有所不同，具体为我复制生成了一个新的yml文件，将其中的类别数改为自制数据集中的类别数（暂时未+1，detr中是需要＋1的，后续有改动会补充）至参考文章1的步骤三时，由于我使用的是自制的数据集，所以需要修改rtdetr_r18vd_6x_coco.yml路径。2.配置文件中的路径最好是绝对路径，因为这个官方代码的层级还是蛮多的，容易把人绕晕。将图片中的第一行中的路径修改正确即可。在运行后，遇到报错如下。
手把手教程：RT-DETR如何训练自己的数据集 | NEU-DET钢材缺陷检测
会AI的学姐
11-08 9789
本文内容：1）RT-DETR原理介绍；2）RT-DETR如何训练自己的数据集
【RT-DETR有效改进】手把手带你调参RT-DETR，1：1复现官方版本实验环境
Snu77的博客
01-29 6467
本文是带大家进行调参，利用ultralytics仓库1：1复现RT-DETR官方实验环境，从而在后期发表论文 的时候省去一些不必要的麻烦，例如被审稿人提出质疑，本文的调参内容均有依据，根据RT-DETR官方Github上发布的版本进行设置本文的调参以ResNet18为例，其余的何其的调参基本一致。RT-DETR剑指论文专栏，持续复现各种顶会内容——论文收割机RT-DETR。
【论文阅读】—RTDETR
Jeremy_lf的博客
08-05 2312
最近，基于端到端DETR取得了显著的性能。然而，DETR的高计算成本限制了它们的实际应用，并阻碍了它们充分利用无后处理（如非最大抑制（NMS））的优势。本文首先分析了NMS对现有实时目标检测器的准确性和速度的负面影响，并建立了一个端到端的速度基准。为了解决上述问题，我们提出了一种实时检测转换器（RT-DETR），这是我们所知的第一个实时端到端目标检测器。具体来说，，通过解耦尺度内交互和跨尺度融合来有效地处理多尺度特征，，通过向解编码器提供更高质量的初始object queries来进一步提高性能。
RT-DETR：端到端的实时Transformer检测模型（目标检测+跟踪）
pengxiang1998的博客
05-31 7747
博主一直一来做的都是基于的目标检测领域，相较于基于卷积的目标检测方法，如YOLO等，其检测速度一直为人诟病。终于，RT-DETR横空出世，在取得高精度的同时，检测速度也大幅提升。那么RT-DETR是如何做到的呢？在研究RT-DETR的改进前，我们先来了解下DETR类目标检测方法的发展历程吧DETRNMSDAB-DETRDETR100DETRDAB-DETRH-DETR然而，上述方法尽管已经大幅提升了检测精度，降低了计算复杂度，但其受本身高计算复杂度的制约，DETR。
算法论文/目标检测2——RT-DETRv3: Real-time End-to-End Object Detection with Hierarchical Dense Positive
ZhouDevin的博客
09-20 3225
RT-DETRv3引入了一个基于 CNN 的辅助分支，提供密集监督，与原始解码器协作以增强编码器特征表示。其次，为了解决解码器训练不足的问题，我们提出了一种涉及自注意力扰动的新型学习策略。该策略使多个查询组中的正样本的标签分配多样化，从而丰富了正监督。此外，我们引入了一个共享权重解码器分支进行密集正监督，以确保更多高质量查询与每个基本事实匹配。
RT-DETR论文阅读笔记（包括YOLO版本训练和官方版本训练）
热门推荐
Snu77的博客
11-27 3万+
目标检测是一项基础的视觉任务，涉及识别和定位图像中的对象。现代目标检测器有两种典型架构：基于CNN和基于Transformer。在过去几年中，基于CNN的目标检测器进行了广泛的研究。这些检测器的架构已从最初的两阶段发展到单阶段，并出现了基于锚点和无锚点两种检测范式。这些研究在检测速度和精度方面都取得了显著进展。自从提出以来，基于Transformer的目标检测器（DETRs）因其消除了各种手工制作的组件（例如非最大抑制NMS）而受到学术界的广泛关注。
算法论文/目标检测1——RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer
ZhouDevin的博客
09-20 2027
为了提高灵活性，我们建议在可变形关注中为不同尺度的特征设置不同数量的采样点，以实现解码器选择性的多尺度特征提取。为了提高实用性，我们提出了一个可选的离散采样算子来取代 YOLO 特定于 RT-DETR 的 grid_sample 算子
百度提出的RT-DETR：DETRs Beat YOLOs on Real-time Object Detection目标检测论文翻译
guanshanjushi2的专栏
04-25 1526
最近，基于端到端Transformer的检测器（DETRs）已经取得了显著的性能。然而，DETRs的高计算成本问题尚未得到有效解决，限制了它们的实际应用，并阻止它们充分利用无后处理的优点，例如非最大值抑制（NMS）。本文首先分析了现代实时目标检测器中NMS对推理速度的影响，并建立了一个端到端速度基准。为避免NMS引起的推理延迟，我们提出了Real-Time DEtection TRansformer（RT-DETR），这是我们所知道的第一个实时端到端物体检测器。
RT-DETR：又快又好的ViT系列模型，拉开ViT实时化的序幕！
m0_63642362的博客
04-30 4866
针对工业场景下实时化检测的需求，我选用PaddleDetection团队新出的RT-DETR模型，相比之前训练的ViTDet系列模型，速度和精度都有一定的提升。
RT-detr论文
最新发布
03-15
### RT-DETR 的论文 RT-DETR 是一种基于 DETR (End-to-End Object Detection with Transformers) 的实时物体检测方法，其设计旨在解决传统 DETR 推理速度较慢的问题，同时保持高性能的目标检测能力[^1]。该模型通过优化架构和引入高效的 Transformer 结构，在不依赖非极大值抑制 (NMS) 的情况下实现了更快的推理时间，并显著提升了检测精度[^2]。 论文的具体信息如下： - **标题**: *DETRs Beat YOLOs on Real-time Object Detection* - **链接**: [https://arxiv.org/pdf/2304.08069.pdf](https://arxiv.org/pdf/2304.08069.pdf) 此论文详细介绍了如何改进传统的 DETR 架构以适应实时场景的需求，以及如何利用硬件加速技术进一步提高效率。此外，论文还提供了实验对比分析，展示了 RT-DETR 在多个公开数据集上的优越表现。 如果希望深入研究其实现细节，可以参考官方开源代码库： ```plaintext Code: https://github.com/PaddlePaddle/PaddleDetection/tree/develop/configs/rtdet ``` 配置文件 `rtdetr-resnet50.yaml` 提供了一个基础框架，用户可以根据自己的需求调整参数设置，例如目标类别数 (`nc`) 等[^3]。 ### 示例代码片段 以下是创建自定义配置的一个简单例子： ```yaml # rtdetr-ResNetLayer_MLLA.yaml 配置示例 Base: rtdetr-resnet50.yaml Model: Backbone: Name: ResNet Depth: 50 Neck: Name: MLLA OutChannels: [256, 512, 1024] Head: NumClasses: ${your_data_nc} # 替换为目标类别的数量 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值