Towards Open World Object Detection

摘要：

人类有识别环境中未知物体实例的本能。当相应的知识最终可用时，对这些未知实例的好奇心有助于了解它们。

这促使我们提出了一个新的计算机视觉问题，称为“开放世界目标检测”，模型的任务是：

• 1）在没有明确监督的情况下，将没有被引入的物体识别为“未知”物体，
• 2）当逐渐接收到相应的标签时，增量地学习这些识别出的未知类别而不忘记先前学习的类。

本文提出了一种基于对比聚类和基于能量的未知识别的开放世界目标检测算法。我们的实验评估和消融研究分析了ORE网络在实现开放世界目标方面的功效。作为一个有趣的研究结果，我们发现识别和描述未知实例有助于减少增量目标检测设置中的混乱，在这种情况下，我们实现了最先进的性能，而无需额外的方法学习。我们希望，我们的工作将吸引进一步研究这个新颖但至关重要的研究方向。

1.引言：

深度学习加速了目标检测研究的进展[13，53，18，30，51]，模型的任务是识别和定位图像中的目标。所有现有的方法都是在一个重要假设下工作的，即所有要检测的类在训练阶段都是可用的。当我们放宽这一假设时，出现了两个具有挑战性的场景：

• 1）测试图像可能包含来自未知类的目标，这些目标应该被分类为未知。
• 2） 当有关这些已识别未知项的信息（标签）可用时，模型应该能够增量地学习新类。

发展心理学的研究[40,35]发现，辨别自己不知道的东西的能力是吸引好奇心的关键。这种好奇心激发了人们学习新事物的欲望[8,15]。这促使我们提出一个新的问题，即模型应该能够将未知的实例识别为未知目标，然后在训练数据以统一的方式逐渐到达时学习识别它们。我们把这个问题称为开放世界目标检测。
与开放世界中存在的无限数量的类相比，标准视觉数据集（如Pascal VOC[9]和MS-COCO[31]）中注释的类的数量非常少（分别为20和80）。将未知目标识别为未知需要很强的泛化能力。Scheirer等人[56]将其形式化为开集分类问题。从今以后，各种方法（使用1-vs-rest支持向量机和深度学习模型）都被用来解决这一具有挑战性的问题。Bendale等人[2]通过额外更新图像分类器来识别新未知类别，将开放集扩展到开放世界分类设置。有趣的是，如图1所示，由于问题的困难，开放世界目标检测还未被探索。
 

图1：开放世界目标检测（※）是一个到目前为止还没有正式定义和解决的新问题。虽然与开放集和开放世界分类相关，但开放世界目标检测有其独特的挑战性，当解决这些问题时，提高了目标检测器的实用性。

开放集和开放世界图像分类的进展不能简单地适用于开放集和开放世界的目标检测，因为问题设置有一个根本的区别：目标检测器被训练来检测未知目标作为背景。许多未知类的实例已经与已知目标一起引入到目标检测器中。由于没有标记，这些未知实例将被显式地学习为背景，同时训练检测模型。Dhamija等人[7]发现，即使有了这个额外的训练信号，最先进的物体检测器也会产生假阳性检测，其中未知物体最终被归类为已知类别之一，通常概率非常高。Miller等人[42]建议使用脱落采样来估计目标检测预测的不确定性。这是开放集目标检测文献中唯一一项同行评议的研究工作。我们提出的开放世界目标检测方法更进一步，一旦新类被检测为未知，并且预测为所有未知目标中感兴趣的目标提供标签，就可以增量地学习它们。据我们所知，这在文献中还没有尝试过。图1显示了该领域现有研究工作的分类。

与现有的封闭世界静态学习设置相比，开放世界目标检测设置更加自然。世界在新阶级的数量、类型和结构上是多样化和动态的。假