论文学习：RT-DETR

最新推荐文章于 2025-01-07 16:46:55 发布
最新推荐文章于 2025-01-07 16:46:55 发布
阅读量1.1k 收藏 2
点赞数 2
文章标签： 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29589765/article/details/133097642
版权

RT-DETR

摘要

  • DETR取得显著性能，但高成本计算使其无法发挥无NMS的优势，无法实际应用。
  • 本文分析了NMS对准确性和速度的负面影响，并建立端到端的速度基准。
  • 第一个实时端到端检测器，高效处理多尺度特征，并提出IoU-aware query selection，向解码器提供了更高质量的初始object queries
  • 可以灵活调整解码器层数来调整推理速度，不需要重新训练。
  • 速度和精度都优于相同规模最先进的YOLO检测器。

介绍

  • 尽管多尺度特征的引入有利于加速训练收敛和提高性能[49]，但它也会导致编码器中序列长度的显著增加。
  • 设计了高效的混合编码器来取代原来的transformer编码器。解耦了多尺度特征的尺度内交互和尺度间融合。
  • 解码器的object queries初始化方案对检测性能至关重要，提出了IoU-aware query selection，通过在训练期间提供IOU约束来向解码器提供高质量的初始object queries
  • 可以灵活调整解码器层数来调整推理速度，不需要重新训练。
  • 文章贡献：1.第一个实时端到端对象检测器，速度精度达到SOTA。2.分析了NMS的影响。3.通过调整解码器层数，灵活调整推理速度不需要重新训练。

在这里插入图片描述

相关工作

  • 实时对象检测
最低0.47元/天 解锁文章
Plusmile1
关注
RT-DETR改进前必看 - Ultralytics调参 1：1还原RT-DETR官方版本实验环境，更方便改进
Limiiiing的博客
11-21 2964
的项目文件中集成了YOLOv3v5v6v8v9v10rt-detr11以及其中不同大小的模型结构，更方便我们学习和使用。的参数配置在路径下，其中中设置了模型在训练Train验证Val/Test预测Predict可视化Visualize导出Export超参数Hyperparameters、以及跟踪Tracker的相关参数。在调参过程中主要涉及训练Train和超参数Hyperparameters。下面主要介绍一下初始超参数Hyperparameters。
RT-DETR论文解读与代码
qq_52053775的博客
06-15 5342
目前以大名鼎鼎的YOLO为代表的基于CNN的实时监测网络需要NMS进行后处理，导致不能很好的优化网络，并且网络不够健壮，从而导致检测器的推理速度出现延迟。研究者也分析了Anchor-based和Anchor-free的YOLO的性能，发现Anchor并不是影响实时监测的关键要素，而NMS后处理彩色。DETR很好的解决了后处理对于模型的限制，却受限于Transformer巨大的计算量，无法发挥实时监测性。因此，作者想要重构detr,使其具有实时性。
《RT-DETR》论文笔记
Zssss12的博客
08-08 2229
YOLO系列因其速度和准确性之间的合理权衡而成为实时目标检测最流行的框架。然而，我们观察到 YOLO 的速度和准确性受到 NMS 的负面影响。最近，端到端基于变压器的检测器 (DETR) 提供了一种消除 NMS 的替代方案。然而，高计算成本限制了它们的实用性，阻碍了它们充分利用排除NMS的优势。在本文中，我们提出了实时检测转换器(RT-DETR)，据我们所知，这是解决上述困境的第一个实时端到端对象检测器。我们分两步。
RT-DETR代码详解（官方pytorch版）——参数配置（1）
最新发布
小小老大MUTA的博客
01-07 4072
RT-DETR代码详解（官方pytorch版）参数配置
RT-DETR改进|爆改模型|涨点|在CCFM模块中加入特征融合模块DFM（附代码+修改教程）
m0_51665349的博客
10-11 1762
本文修改的模型是RT-DETR，在原本的RT-DETR中，CCFM模块输出的多尺度特征图作为 IoU-aware Query Selection的输入。本文将骨干网络及AIFI模块输出的特征图与CCFM模块输出的特征图使用DFM模块进行特征融合。DFM是一种基于密集连接的简单而有效的特征融合模块，可以减少特征不对齐，并计算出更准确的变化特征。
RTDETR论文快速理解和代码快速实现(训练与预测)
weixin_38252409的博客
12-20 7027
最近，我们想比较基于DETR的transformer模型与基于CNN的yolo模型效果，而百度RT-DETR模型声称“在实时目标检测领域打败YOLO”。从数据的角度来看，RT-DETR似乎确实在某些方面超越了YOLO。我选择RT-DETR模型与YOLO模型比较。本篇文章将介绍RT-DETR模型原理–>环境安装–>数据准备–>训练实现–>预测实现。近期，端到端基于transformer检测器DETRs已有显著性能。然而，DETR的计算成本限制其实际应用，也阻止其无后处理的优势(如：NMS)。
DETR系列：RT-DETR（一） 论文解析
lansebingxuan的专栏
06-26 2万+
实时目标检测(Real-Time Object Detection )过去一直由 YOLO 系列模型主导。YOLO 检测器有个较大的待改进点是需要 NMS 后处理，其通常难以优化且不够鲁棒，因此检测器的速度存在延迟。2020年DETR算法诞生，Detr是第一个基于transformer的端到端算法，没有anchor前处理和NMS后处理，但是Detr收敛慢，训练慢，推理也慢，尽管后续的优化算法不断加快收敛速度，提升推理速度，但仍然无法实现实时要求。
RT-DETR论文学习笔记（DETRs Beat YOLOs on Real-time Object Detection）
athrunsunny的博客
04-20 1万+
目标检测是一项基本的视觉任务，涉及识别和定位图像中的目标。现代目标检测器有两种典型的体系结构：基于CNN，基于Transformer。在过去的几年里，人们对基于CNN的目标检测器进行了广泛的研究。这些检测器的架构已经从最初的两阶段发展到一阶段，并且出现了两种检测范式，Anchor-Base和Anchor-Free。这些研究在检测速度和准确性方面都取得了重大进展。基于Transformer的目标检测器（DETR）由于消除了各种手工设计的组件，如非最大值抑制（NMS），自提出以来，受到了学术界的广泛关注。
RT-DETR
whaosoft143ai的博客
04-20 1884
实时目标检测中击败YOLO家族？来看看百度飞桨的PaddleDetection团队提出的 RT-DETR究竟强在哪里。众所周知，实时目标检测(Real-Time Object Detection)一直被YOLO系列检测器统治着，YOLO版本更是炒到了v8，前两天百度飞桨的PaddleDetection团队发布了一个名为 RT-DETR 的检测器，宣告其推翻了YOLO对实时检测领域统治。whaosoft aiot http://143ai.com
学习笔记：RT-DETR训练自己的数据集(Pytorch)
x_rain_jay的博客
07-03 2311
简单按照参考文章1下载代码并尝试运行流程：前面与其保持一致，在第二步选择了自制数据集，因此在第三步有所不同，具体为我复制生成了一个新的yml文件，将其中的类别数改为自制数据集中的类别数（暂时未+1，detr中是需要＋1的，后续有改动会补充）至参考文章1的步骤三时，由于我使用的是自制的数据集，所以需要修改rtdetr_r18vd_6x_coco.yml路径。2.配置文件中的路径最好是绝对路径，因为这个官方代码的层级还是蛮多的，容易把人绕晕。将图片中的第一行中的路径修改正确即可。在运行后，遇到报错如下。
手把手教程：RT-DETR如何训练自己的数据集 | NEU-DET钢材缺陷检测
会AI的学姐
11-08 9415
本文内容：1）RT-DETR原理介绍；2）RT-DETR如何训练自己的数据集
RT-DETR改进有效系列目录 | 包含卷积、主干、RepC3、注意力机制、Neck上百种创新机制
Snu77的博客
01-29 2万+
Hello，各位读者们好Hello，各位读者，距离第一天发RT-DETR的博客已经过去了接近两个月，这段时间里我深入的研究了一下RT-DETR在ultralytics仓库的使用，旨在为大家解决为什么用v8的仓库训练的时候模型不收敛，精度差的离谱的问题，我也是成功的找到了解决方案，对于ultralytics仓库进行多处改进从而让其还原RT-DETR官方的实验环境从而达到一比一的效果。同时本人一些讲解视频和包含我所有创新的RT-DETR文档。
【论文阅读】—RTDETR
Jeremy_lf的博客
08-05 2169
最近，基于端到端DETR取得了显著的性能。然而，DETR的高计算成本限制了它们的实际应用，并阻碍了它们充分利用无后处理（如非最大抑制（NMS））的优势。本文首先分析了NMS对现有实时目标检测器的准确性和速度的负面影响，并建立了一个端到端的速度基准。为了解决上述问题，我们提出了一种实时检测转换器（RT-DETR），这是我们所知的第一个实时端到端目标检测器。具体来说，，通过解耦尺度内交互和跨尺度融合来有效地处理多尺度特征，，通过向解编码器提供更高质量的初始object queries来进一步提高性能。
RT-DETR：端到端的实时Transformer检测模型（目标检测+跟踪）
pengxiang1998的博客
05-31 7481
博主一直一来做的都是基于的目标检测领域，相较于基于卷积的目标检测方法，如YOLO等，其检测速度一直为人诟病。终于，RT-DETR横空出世，在取得高精度的同时，检测速度也大幅提升。那么RT-DETR是如何做到的呢？在研究RT-DETR的改进前，我们先来了解下DETR类目标检测方法的发展历程吧DETRNMSDAB-DETRDETR100DETRDAB-DETRH-DETR然而，上述方法尽管已经大幅提升了检测精度，降低了计算复杂度，但其受本身高计算复杂度的制约，DETR。
算法论文/目标检测2——RT-DETRv3: Real-time End-to-End Object Detection with Hierarchical Dense Positive
ZhouDevin的博客
09-20 3078
RT-DETRv3引入了一个基于 CNN 的辅助分支，提供密集监督，与原始解码器协作以增强编码器特征表示。其次，为了解决解码器训练不足的问题，我们提出了一种涉及自注意力扰动的新型学习策略。该策略使多个查询组中的正样本的标签分配多样化，从而丰富了正监督。此外，我们引入了一个共享权重解码器分支进行密集正监督，以确保更多高质量查询与每个基本事实匹配。
RT-DETR论文阅读笔记（包括YOLO版本训练和官方版本训练）
热门推荐
Snu77的博客
11-27 3万+
目标检测是一项基础的视觉任务，涉及识别和定位图像中的对象。现代目标检测器有两种典型架构：基于CNN和基于Transformer。在过去几年中，基于CNN的目标检测器进行了广泛的研究。这些检测器的架构已从最初的两阶段发展到单阶段，并出现了基于锚点和无锚点两种检测范式。这些研究在检测速度和精度方面都取得了显著进展。自从提出以来，基于Transformer的目标检测器（DETRs）因其消除了各种手工制作的组件（例如非最大抑制NMS）而受到学术界的广泛关注。
算法论文/目标检测1——RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer
ZhouDevin的博客
09-20 1894
为了提高灵活性，我们建议在可变形关注中为不同尺度的特征设置不同数量的采样点，以实现解码器选择性的多尺度特征提取。为了提高实用性，我们提出了一个可选的离散采样算子来取代 YOLO 特定于 RT-DETR 的 grid_sample 算子
百度提出的RT-DETR：DETRs Beat YOLOs on Real-time Object Detection目标检测论文翻译
guanshanjushi2的专栏
04-25 1505
最近，基于端到端Transformer的检测器（DETRs）已经取得了显著的性能。然而，DETRs的高计算成本问题尚未得到有效解决，限制了它们的实际应用，并阻止它们充分利用无后处理的优点，例如非最大值抑制（NMS）。本文首先分析了现代实时目标检测器中NMS对推理速度的影响，并建立了一个端到端速度基准。为避免NMS引起的推理延迟，我们提出了Real-Time DEtection TRansformer（RT-DETR），这是我们所知道的第一个实时端到端物体检测器。
rt-detr交通标志
12-26
### RT-DETR 模型用于交通标志检测与识别 #### 实现方法概述 RT-DETR 是一种基于 Transformer 的目标检测框架，在处理复杂场景下的物体检测任务上表现出色。对于交通标志检测这一特定应用场景，该模型通过引入自注意力机制能够有效捕捉图像中的全局依赖关系，从而提升对不同形状和大小的交通标志的检测能力[^1]。 为了适应交通标志的特点，通常会对原始 RT-DETR 进行如下调整： - **数据集准备**：收集并标注大量包含各类交通标志的真实世界图片作为训练样本。这些图片应覆盖多种天气条件、光照环境以及不同的拍摄角度。 - **预处理阶段**：考虑到交通标志的颜色特征较为明显，可以在输入网络之前增加颜色增强操作；另外还可以采用随机裁剪等方式扩充数据集规模。 - **模型微调**：利用迁移学习的思想，先在大规模通用物体检测数据集（如 COCO）上预训练整个网络结构，再针对交通标志类别进行最后几层参数的重新训练或冻结部分卷积层仅优化新增加的部分。 - **后处理逻辑**：由于交通标志往往较小且密集分布，因此可以考虑降低 NMS 阈值以减少误报情况的发生，同时结合上下文信息进一步筛选候选框。 #### 参考文献及代码资源 目前有关于 RT-DETR 应用于交通标志检测的具体实现细节可能较少见诸公开报道，但从现有资料来看，《FFCA-YOLO for Small Object Detection in Remote Sensing Images》这篇论文虽然主要讨论遥感影像中小目标检测的方法论，但对于理解如何改进现有的 DETR 类模型来更好地应对小型化对象同样具备借鉴意义。 至于实际编程实践方面，GitHub 上存在多个开源项目实现了基础版的 DETR 和其变体版本，比如 Facebook AI Research 提供了一个官方 PyTorch 版本的 DETR 仓库，其中包含了详细的安装指南、配置文件模板以及一些常见视觉任务上的应用实例。开发者可以根据自己的需求在此基础上构建适合交通标志检测的任务流程。 ```python import torch from detr.models import build_model # 加载预训练权重 checkpoint = torch.load('pretrained_weights.pth') model = build_model(checkpoint['args']) model.load_state_dict(checkpoint['model']) def detect_traffic_signs(image_tensor): outputs = model(image_tensor.unsqueeze(0)) pred_logits, pred_boxes = outputs['pred_logits'], outputs['pred_boxes'] # 后续可加入置信度阈值过滤、NMS 等步骤... ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值