PROB: Probabilistic Objectness for Open World Object Detection(论文解析)

摘要

开放世界对象检测（OWOD）是一项新的并具有挑战性的计算机视觉任务，它弥合了经典的对象检测（OD）基准和现实世界中的对象检测之间的差距。除了检测和分类已知/标记的对象外，OWOD算法还应该能够检测新颖/未知的对象 - 这些对象可以进行分类和增量学习。在标准的OD中，与标记对象不重叠的对象提议会自动被分类为背景。因此，简单地将OD方法应用到OWOD会失败，因为未知的对象会被预测为背景。检测未知对象的挑战来自于区分未知对象和背景对象提议的监督不足。以前的OWOD方法试图通过使用伪标签生成监督来克服这个问题，然而，未知对象的检测仍然很低。概率/生成模型可能为这个挑战提供解决方案。在这里，我们引入了一个新的概率框架用于对象性估计，我们在概率分布估计和已知对象在嵌入特征空间中的对象性可能性最大化之间交替，最终允许我们估计不同提议的对象性概率。由此产生的概率对象性基于变压器的开放世界检测器，PROB，将我们的框架集成到传统的对象检测模型中，使它们适应开放世界的设置。在OWOD基准上的全面实验显示，PROB在未知对象检测（∼ 2× 未知召回）和已知对象检测（∼ 10% mAP）方面均优于所有现有的OWOD方法。我们的代码可以在https://github.com/orrzohar/PROB 上找到。

1 介绍

目标检测（OD）是一项基础的计算机视觉任务，拥有众多实际应用，包括自动驾驶[18, 25]、机器人技术[4, 32]以及医疗保健[6, 12]。然而，与许多其他机器学习系统一样，超越训练分布进行泛化仍然具有挑战性[5]，限制了现有OD系统的适用性。为促进在真实世界中保持鲁棒性的机器学习方法的发展，提出了一种新的学习范式——开放世界学习（OWL）[8–10, 16, 17, 21, 27, 29–31, 34]。在OWL中，机器学习系统被赋予了同时推理已知和未知概念的任务，同时从非静态数据流中随时间缓慢学习。在开放世界目标检测（OWOD）中，模型被期望在同时能够检测所有先前学习过的对象的同时，能够检测到新颖的未知对象。这些被标记为未知的对象可以发送给一个专家（人类标注者），该专家标记感兴趣的对象。然后期望该模型在不遗忘先前的对象类别的情况下进行更新[10]。

虽然未知对象检测对于OWOD目标至关重要，但现有的OWOD方法在未知对象检测方面具有很低的召回率（约10%）[8, 10, 30, 34]。因此，很明显该领域还有很大的改进空间，以实现其实际目标。未知对象检测的困难在于缺乏监督，因为与已知对象不同，未知对象没有标签。因此，在训练OD模型时，包含未知对象的目标建议会被错误地惩罚为背景。到目前为止，大多数OWOD方法都尝试通过在训练期间使用不同的启发式方法区分未知对象和背景来克服这一挑战。例如，OW-DETR [8] 使用一个伪标记方案，其中通过确定具有高骨干特征激活的图像块来确定为未知对象，然后使用这些伪标签来监督OD模型。相比之下，我们采取了一种更直接的方法，而不是使用标签和伪标签分别推理已知和未知对象。我们的目标是学习一种通用的“物体性”概率模型（见图1）。任何对象，无论是已知的还是未知的，都应该具有将它们与背景区分开的通用特征，而学到的物体性可以帮助提高未知对象和已知对象的检测效果。

在这里，我们介绍了概率物体性开放世界检测变换器PROB。PROB将一种新颖的概率物体性头部引入标准的可变形DETR（D-DETR）模型中。在训练过程中，我们在估计物体性概率分布和最大化已知对象的似然之间交替进行。与分类头部不同，这种方法不需要负例