【CVPR2023】DETR系列新突破：DETRs with Hybrid Matching

论文题目：DETRs with Hybrid Matching

代码：https://github.com/HDETR

导读

DETR的核心设计：DETR是一个基于Transformer的用于目标检测的模型，它的关键设计是通过一对一的集合匹配来实现端到端的能力，这意味着在检测目标时不需要手工设计的非极大值抑制（NMS）来去除重复检测。

存在问题：作者强调了DETR模型中一对一匹配的训练效率问题。在一对一匹配中，每个查询（query）只与一个真实标签（ground truth）匹配，这导致了正样本数量不足的问题，特别是在像COCO数据集中大多数图像只有少数标注框的情况下，并且这种一对一的集合匹配方式显著降低了正样本的训练效果。

提出的方法：为了解决这个问题，作者提出了一种名为H-DETR的方法。它采用了一种混合匹配方案，在训练过程中结合了原始的一对一匹配分支和一个辅助的一对多匹配分支。这种混合策略已经被证明可以显著提高准确性。

推理中的使用：在推理过程中，仅使用原始的一对一匹配分支，以保持DETR的端到端优势和相同的推理效率。

应用范围：H-DETR方法不仅适用于DETR本身，还可以用于一系列代表性的DETR方法，包括DeformableDETR、PETRv2、PETR和TransTrack等，可以在各种视觉任务中实现一致的改进。

本文贡献

• 改进的匹配机制：H-DETR引入了一种混合匹配方案，将原始的一对一匹配分支与一个辅助的一对多匹配分支结合起来。这个新的匹配机制允许将多个查询分配给每个正样本，从而提高了训练效果，特别是对于正样本的拟合。

• 保持原始DETR的优势：H-DETR在推理过程中仍然使用原始的一对一匹配分支，从而保持了DETR的端到端优势，如无需非极大值抑制（NMS）。

• 通用性验证：研究人员通过在多种视觉任务上进行广泛验证，包括目标检测、3D物体检测、姿势估计和对象跟踪等，证明了H-DETR方法的通用性和有效性。

相关工作

DETR在目标检测中的应用：DETR是一种使用Transformer的模型，最初用于2D目标检测任务。随后，许多研究工作基于DETR构建了各种高级扩展，因为DETR消除了许多需要手工设计的组件，如非极大值抑制或初始锚框生成。一些扩展包括Deformable-DETR、DABDETR和DINO-DETR等，它们在不同方面进行了改进并在目标检测任务中取得了先进的结果。

DETR在其他视觉任务中的应用：受DETR在目标检测中的成功启发，许多最新的研究工作构建了基于DETR的方法来解