计算机视觉研究院 | 性能&耗时完爆YOLOv11，RT-DETRv3真正的实时端到端目标检测算法

本文来源公众号“计算机视觉研究院”，仅用于学术分享，侵权删，干货满满。

原文链接：性能&耗时完爆YOLOv11，RT-DETRv3真正的实时端到端目标检测算法

• 论文链接：https://arxiv.org/pdf/2409.08475

简介

RT-DETR是第一个基于实时端到端Transformer的目标检测器。其效率来源于框架设计和Hungarian matching。然而与YOLO系列等密集的监督检测器相比，Hungarian matching提供了更稀疏的监督，导致模型训练不足，难以达到最佳结果。

PART/1  概述  

为了解决这些问题，研究者提出了一种基于RT-DETR的分层密集正监督方法，称为RT-DETRv3。首先引入了一个基于CNN的辅助分支，该分支提供密集的监督，与原始解码器协同工作，以增强编码器的特征表示。其次为了解决解码器训练不足的问题，进一步提出了一种涉及self-att扰动的新学习策略。该策略使多个查询组中阳性样本的标签分配多样化，从而丰富了阳例。此外引入了一个共享权重解编码器分支，用于密集的正向监督，以确保更多高质量的查询与GT匹配。值得注意的是，上述所有模块都只是训练策略。

研究者进行了广泛的实验，以证明新的方法对COCOval2017的有效性。RT-DETRv3的性能明显优于现有的实时检测器，包括RT-DETR系列和YOLO系列