【论文阅读】 YOLOv10: Real-Time End-to-End Object Detection

YOLOv10：实时端到端的目标检测
GitHub
paper

单位：清华大学

Abstract

在过去几年中，YOLOs 因其在计算成本和检测性能之间的有效平衡而成为实时目标检测领域的主流模式。研究人员对 YOLOs 的架构设计、优化目标、数据增强策略等进行了探索，并取得了显著进展。然而，后处理对非最大抑制（NMS）的依赖阻碍了 YOLO 的端到端部署，并对推理延迟产生了不利影响。此外，YOLOs 中各种组件的设计缺乏全面彻底的检查，导致明显的计算冗余，限制了模型的能力。这使得效率不尽如人意，性能还有很大的提升空间。在这项工作中，我们旨在从后处理和模型架构两方面进一步推进 YOLO 的性能-效率边界。为此，我们首先提出了用于 YOLOs 无 NMS 训练的一致双分配，它同时带来了有竞争力的性能和较低的推理延迟。此外，我们还为 YOLOs 引入了效率-精度驱动的整体模型设计策略。我们从效率和准确性两个角度全面优化了 YOLO 的各个组成部分，从而大大降低了计算开销，提高了能力。我们努力的成果是用于实时端到端目标检测的新一代 YOLO 系列，被称为 YOLOv10。大量实验表明，YOLOv10 在各种模型规模下都实现了最先进的性能和效率。例如，在 COCO 上相似的 AP 下，我们的 YOLOv10-S 比 RT-DETR-R18 快 1.8 倍，同时参数和 FLOPs 数量少 2.8 倍。与 YOLOv9-C 相比，在性能相同的情况下，YOLOv10-B 的延迟减少了 46%，参数减少了 25%。

Introduction

实时目标检测一直是计算机视觉领域的研究热点。
YOLOs 的检测流程由两部分组成：**模型前向处理和 NMS 后处理。**然而，这两部分仍存在缺陷，导致精度-延迟边界不理想。

具体来说，YOLO 在训练过程中通常采用一对多的标签分配策略，即一个真值对象对应多个正样本。尽管这种方法性能优越，但在推理过程中，NMS 必须选择最佳的正向预测。这就降低了推理速度，使性能对 NMS 的超参数非常敏感，从而阻碍了 YOLOs 实现最佳端到端部署。解决这一问题的方法之一是采用最近推出的端到端 DETR 架构 。例如，RT-DETR 提出了一种高效的混合编码器和不确定性最小的查询选择，将 DETR 推向了实时应用领域。然而，部署 DETR 本身的复杂性阻碍了它在准确性和速度之间达到最佳平衡的能力。另一条思路是探索基于 CNN 的端到端检测，通常利用一对一分配策略来抑制冗余预测 。然而，这些方法通常会引入额外的推理开销，或实现次优性能。

此外，模型结构设计仍然是 YOLOs 面临的一个基本挑战，它对精度和速度有重要影响。为了实现更高效、更有效的模型架构，研究人员探索了不同的设计策略。为提高特征提取能力，骨干网采用了多种主要计算单元，包括 DarkNet [43, 44, 45]、CSPNet [2]、EfficientRep [27] 和 ELAN [56, 58] 等。对于颈部，则探索了 PAN [35]、BiC [27]、GD [54] 和 RepGFPN [65] 等增强多尺度特征融合的方法。此外，还研究了模型缩放策略[56, 55]和重新参数化[10, 27]技术。虽然这些努力取得了显著进展，但仍缺乏从效率和准确性两个角度对 YOLOs 中各种组件的全面检测。因此，在 YOLOs 中仍然存在相当多的计算冗余，导致参数利用效率低下和效率不理想。此外，由此产生的受限模型能力也会导致性能低下，为提高精度留下了很大的空间。

在这项工作中，我们的目标是解决这些问题，并进一步推