Random Boxes Are Open-world Object Detectors

摘要

我们展示了使用随机区域提案训练的分类器在开放世界物体检测（OWOD）中达到了最先进的性能：它们不仅可以保持已知物体（带训练标签）的准确性，还能显著提高未知物体（无训练标签）的召回率。具体来说，我们提出了RandBox，这是一种基于Fast R-CNN的架构，在每次训练迭代时使用随机提案进行训练，超越了现有的基于Faster R-CNN和变换器的OWOD方法。其有效性源于随机性引入的以下两个好处。

首先，由于随机化独立于有限已知物体的分布，随机提案成为防止训练被已知物体干扰的工具变量。其次，无偏的训练通过使用我们提出的匹配得分鼓励更多的提案探索，这不会惩罚预测得分与已知物体不匹配的随机提案。在Pascal-VOC/MS-COCO和LVIS这两个基准上，RandBox在所有指标上显著超越了之前的最先进方法。我们还详细介绍了关于随机化和损失设计的消融实验。代码可在https://github.com/scuwyh2000/RandBox获取。

介绍

不同的物体可能共享共同的视觉特征。例如，“马”的检测有助于“牛”的检测，因为它们都是“四条腿”的牲畜。因此，有可能将从有限物体类别库存中训练的检测器推广到检测视觉上相似但类别不在库存中的物体。如图1右列所示，除了常规的封闭世界物体库存检测外，开放世界物体检测（OWOD）[23] 还可以检测库存外的物体并将其标记为“未知”。为了利用“已知”到“未知”的特征转移，现有OWOD方法[23, 20, 56] 的训练损失具有以下细分（图1）：

1. 已知类别损失：针对库存中的已知类别，使用标准的检测损失（如交叉熵损失和边界框回归损失）。
2. 未知类别损失：对于库存外的未知类别，使用特定的损失函数来区分未知物体和背景，并将未知物体标记为“未知”。
3. 特征转移损失：通过特定的损失函数促进已知类别特征向未知类别的转移，以提高模型对未知类别的检测能力。

通过这些损失细分，OWOD方法可以有效地从已知类别的特征中学习，并推广到检测未知类别的物体，从而实现更广泛的物体检测能力。

已知前景（Known-FG）：与传统的封闭世界检测（图1a）类似，我们计算预测的区域提案标签与已知物体的真实标签之间的匹配分数，其中标签是类别和边界框（bbox）的一对。特别地，对于像Faster R-CNN [43]这样的两阶段检测器，“提案采样器”和“匹配分数”分别是区域提案网络和bbox的IoU（交并比）；对于像DETR [9]这样的端到端检测器，它们分别是查询变压器解码器和二分匹配分数。对于匹配的提案，损失是类别交叉熵 (L_{cls}) 和边界框回归 (L_{reg})。

背景（BG）：对于传统检测，所有不匹配的提案都被视为背景，其损失仅为带有标签“BG”的类别交叉熵损失 (L_{cls})；对于开放世界物体检测（OWOD），我们仅使用不匹配的提案，排除下面的未知前景（Unknown-FG）提案。

未知前景（Unknown-FG）：这是与传统检测的关键区别。其设计启发是，对于类别置信度大于某个阈值的不匹配提案——可能是未知物体——其损失仅为带有特殊标签“unknown”的类别交叉熵损失 (L_{cls})，不进行边界框回归。需要注意的是，这种启发基于特征转移的假设[57, 10]——视觉上相似的提案具有相似的类别置信度（参见第3.1节关于两阶段和端到端检测中损失实现的回顾）——Unknown-FG 收集的未知物体越多，OWOD的性能越好。