DEYOv2: Rank Feature with Greedy Matchingfor End-to-End Object Detection

摘要

与前代类似， DEYOv2 采用渐进式推理方法 来加速模型训练并提高性能。该研究深入探讨了一对一匹配在优化器中的局限性，并提出了有效解决该问题的解决方案，如Rank 特征和贪婪匹配 。这种方法使DEYOv2的第三阶段能够最大限度地从第一和第二阶段获取信息，而 无需 NMS ，实现端到端优化 。通过组合密集查询、稀疏查询、一对多匹配和一对一匹配，DEYOv2 充分利用了每种方法的优势。与端到端模型DINO 相比， DEYOv2 在两个 epoch 设置中提供了 2.1AP 和 1.4AP 的显著性能提升。据我们所知，DEYOv2是第一个完全端到端的对象检测器，它结合了经典检测器和基于查询的检测器的各自优势。

1、介绍

经典检测器有一个共同点，它们严重依赖手工制作的组件，如非极大值抑制（ NMS ）。因为这些检测算法通常输出多个候选边界框，每个边界框对应于可能存在对象的区域。然而，这些候选框之间往往存在重叠或冗余，需要进行筛选和优化。

尽管 NMS 是一种有用的对象检测算法，但它确实有一些局限性。有一个问题是，他 可能会无意中删除与 得分最高的边界框明显重叠的边界框 ， 尤其是在对象密集或大小相似的区域 。此外， NMS 的有效性可能会受到所选IoU 阈值的影响，这可能会导致检测结果的显著变化。在稀疏场景中，它可能会成为经典检测器的性能瓶颈。

检测转换器 DETR 提出了一种创新的基于转换器的对象检测器，该检测器利用了基于转换器的编码器 - 解码器框架。DETR 不依赖 NMS 的手动组件，而是使用匈牙利损失来预测一对一的对象集 ，带来端到端优化。NMS 在拥挤场景中表现不佳，因为它只根据 IoU 和类别简单信息对对象进行集群， 可能会将大小相 似的不同对象分组为一组 。相反， DETR 利用查询之间的交互来利用更复杂的信息并区分它们之间的关系。与NMS 相比，这种方法使 DETR 预测一对一对象集的策略更加合理， 从而在拥挤场景中比使用 NMS 的经典检测器具有更好的性能。

尽管 DETR 引起了研究界的极大兴趣，但它也存在许多问题。首先，应该注意的是， DETR 的收敛速度很慢，需要500 个训练 epoch 才能获得可接受的性能。然而， DEYO 算法从循序渐进的思想中获得了灵感，

为改进 DETR 提供了一个新的视角。