论文学习：RT-DETR

RT-DETR

摘要

• DETR取得显著性能，但高成本计算使其无法发挥无NMS的优势，无法实际应用。
• 本文分析了NMS对准确性和速度的负面影响，并建立端到端的速度基准。
• 第一个实时端到端检测器，高效处理多尺度特征，并提出IoU-aware query selection，向解码器提供了更高质量的初始object queries
• 可以灵活调整解码器层数来调整推理速度，不需要重新训练。
• 速度和精度都优于相同规模最先进的YOLO检测器。

介绍

• 尽管多尺度特征的引入有利于加速训练收敛和提高性能[49]，但它也会导致编码器中序列长度的显著增加。
• 设计了高效的混合编码器来取代原来的transformer编码器。解耦了多尺度特征的尺度内交互和尺度间融合。
• 解码器的object queries初始化方案对检测性能至关重要，提出了IoU-aware query selection，通过在训练期间提供IOU约束来向解码器提供高质量的初始object queries
• 可以灵活调整解码器层数来调整推理速度，不需要重新训练。
• 文章贡献：1.第一个实时端到端对象检测器，速度精度达到SOTA。2.分析了NMS的影响。3.通过调整解码器层数，灵活调整推理速度不需要重新训练。

相关工作

• 实时对象检测