UC-OWOD: Unknown-Classified Open World Object Detection(论文翻译)

UC-OWOD: Unknown-Classified Open World Object Detection

摘要

开放世界对象检测（OWOD）是一个具有挑战性的计算机视觉问题，需要检测未知对象并逐渐学习所识别的未知类。但是，它不能将未知实例区分为多个未知类。在这项工作中，我们提出了一种新的OWOD问题，称为未知分类的开放世界对象检测（UC-OWOD）。UC-OWOD的目标是检测未知的实例，并将它们分类到不同的未知类。此外，我们定义这个问题，并设计了一个两阶段的对象检测器来解决UC-OWOD。首先，未知标签感知建议框proposal和未知判别分类头用于检测已知和未知对象。然后，基于相似性的未知分类和未知聚类强化模块被构建区分多个未知类。此外，两个新的评估协议被设计用于评估未知类检测。大量的实验和可视化结果证明了该方法的有效性。代码可在https://github.com/JohnWuzh/UC-OWOD上获得。

1.介绍

如今，深度学习方法在对象检测方面取得了巨大成功[20，31，47，35，8，10]。传统的目标检测方法是在封闭世界假设下开发的，因此它们只能检测已知（标记的）类别[17，46，62]。然而，真实的世界中包含许多未知的（未标记的）类，传统的检测方法很难正确地处理此类问题。因此，研究开放世界目标检测（OWOD）中的未知实例检测问题，对于促进实际应用具有重要意义。

图1所示。OWOD和UC-OWOD之间的比较。他们都可以学习新标注类的通过人类的标注信息，并且在接下来的任务中没有忘记。(a) OWOD检测未知对象作为一个相同的类。(b) UC-OWOD可以检测到未知的对象作为不同的类。

OWOD问题由[24]开创，如图1（a）所示.OWOD包含多个增量任务。在每个任务中，OWOD能够将所有未知实例识别为未知。然后，人类注释者可以逐渐为感兴趣的类分配标签，模型在下一个任务中增量学习这些类。然而，除了区分未知类之外，我们还需要确定多个未知实例是否属于同一类别。因此，将OWOD用于真实世界任务时，仍然存在巨大的困难。例如，在机器人[16，28]和自动驾驶汽车[7，53]的实际应用中，需要探索未知环境，采取不同的策略针对不同的未知类别。这就要求检测算法能够自信地定位未知实例并将其分类到不同的未知类别中。

大多数现有的开放世界检测器是针对OWOD问题设计的。例如，开放世界对象检测器（ORE）[24]可以检测未知类，但它不考虑对未知对象进行分类的情况。更具体地说，ORE使用伪标签监督训练来检测未知实例。由于伪标签只能被标记为未知，因此ORE模型不能直接用于解决将未知类检测为不同类的问题。类似地，现有的OWOD方法模型，如[18，60]遵循ORE的精神，我们不知道以前的任何工作可以区分多个未知类。

研究未知对象分类问题的另一个难点是评价标准不成熟。现有的度量仅评估未知类和已知类之间的混淆程度。它们无法评估两个不同类别的未知物体被检测为同一类别的情况。但这些问题不能被忽视，因为它们可能会导致模型对未知对象进行错误分类。因此，迫切需要一种更为合理的评价指标来评价多个未知类的检测精度。

考虑到上述问题，我们提出了一种更接近真实世界设置的新颖OWOD问题，即未知分类开放世界对象检测（UC-OWOD），其可以将未知对象检测为不同的未知类（参见图1（b））。同时，我们提出了一种新的框架的基础上的两阶段检测流水线来解决这个问题。特别是，我们设计了未知的标签感知建议（ULP），以构建未知对象的真实框，未知的判别分类头（UCH）挖掘未知对象，基于相似性的未知分类（SUC），以检测未知对象作为不同的类，和未知的聚类细化（UCR），以完善未知对象的分类。为了更准确地评估UC-OWOD问题，我们提出了新的指标来评估未知实例的分类和定位性能。使用最大匹配来更合理地将真实框分配给未知对象。最终，我们的模型在现有的评估指标和新的评估指标中实现了最佳性能。我们的主要贡献如下：

1. 我们引入一个新的问题设置，未知分类的开放世界对象检测，以启发未来的研究对现实世界对象检测。
2. 我们提出了一种基于未知的标签感知的提议方法来解决UC-OWOD的问题，和未知判别的分类头，基于相似性的未知分类，和未知的聚类改进。
3. 提出了一种新的UC-OWOD评价指标，可以对未知目标的定位和分类进行评价。大量的实验进行，结果表明，我们的方法和新的指标的UC-OWOD问题的有效性。

2.相关工作

开集识别与检测
开集识别首先被定义为一个约束最小化问题[51]，它可以在测试阶段将未知类提交给算法。它由[23，50]开发为多类分类器。Liu等人考虑了长尾识别环境，并开发了一个度量学习框架来识别未知类[33]。自监督学习[41]和具有重建的无监督学习[58]也已用于开集识别。Yue等人为平衡和改善可见/不可见分类失衡提供了理论基础[59]。Bendale和Boult提出了一种使深度网络适应开集识别的方法，使用OpenMax层来估计输入来自未知类的概率[6]。Dhamija等人首先提出了开集对象检测协议，并形式化了开集对象检测问题[11]。米勒等人通过在机器人视觉中常见的开放条件下提取标签不确定性来提高对象检测性能[40]。一些后续工作还利用对象检测器中的（空间和语义）不确定性的测量来拒绝未知类别[19]。米勒等人发现正确选择紧密的聚类组合可以大大提高分类的有效性，空间不确定性估计以及由此产生的目标检测性能[39]。然而，这些方法不能在动态世界中逐渐调整其知识。相比之下，我们的模型可以根据人类注释的标签动态更新已知的类。
开放世界识别和检测
与开集问题相比，开放世界问题具有动态数据集，可以不断添加新的已知类，如连续学习[42，13，48，54，26]。Bendale等人首先提出了开放世界识别，并提出了一个用于评估开放世界识别系统的协议[5]。Xu等人提出了一种针对开放世界学习问题的元学习方法，该方法仅使用即时可见的类（包括新添加的类）的示例进行分类和拒绝[57]。Joseph等人提出了一个新的计算机视觉问题，称为OWOD [24]。他们提出的ORE可以在已知类和未知类之间对提取框进行分类，但它依赖于具有弱未知监督的验证集来学习已知类和未知类的能量分布。开放世界检测变换器（OW-DETR）使用多尺度自我注意和可变形感受野来提高性能[18]。Zhao等人进一步提出了一个OWOD框架，包括一个辅助提取框和一个特定于类的驱动分类器[60]。这些方法都没有实现未知类的分类。我们的工作主要是研究未知物体的分类。
约束聚类
约束聚类是