Learning Open-World Object Proposals without Learning to Classify(论文解析)

摘要

物体提议已经成为许多视觉流程的重要预处理步骤，包括目标检测、弱监督检测、目标发现、跟踪等。与无需学习的方法相比，基于学习的提议最近变得越来越受欢迎，这主要是因为对目标检测的兴趣日益增长。常见的范式是从带有一组对象区域及其对应类别的标记数据中学习对象提议。然而，这种方法通常难以处理在训练集中不存在的开放世界中的新对象。在本文中，我们发现问题在于现有提议方法中的二元分类器往往对训练类别过拟合。因此，我们提出了一种无需分类的对象定位网络（Object Localization Network，OLN），它纯粹通过区域的位置和形状与标记的真实对象（例如，中心度和IoU）的重叠程度来估计每个区域的对象性。这种简单的策略学习了通用的对象性，并在COCO的跨类别泛化以及RoboNet、Object365和EpicKitchens的跨数据集评估中胜过了现有的提议方法。最后，我们展示了OLN在大词汇数据集LVIS上长尾目标检测方面的优点，其中我们注意到在罕见和常见类别中明显改进。

1 介绍

物体提议是一组包含高概率包含对象的区域或边界框[33, 41, 42, 45, 59-61, 74]。它们已经成为许多计算机视觉系统的重要预处理步骤，包括目标检测[33, 41, 42, 45, 59, 74]、分割[3, 8, 13]、对象发现[12, 16, 47]、弱监督目标检测[5, 21, 53]、视觉跟踪[35, 63]、内容感知重定向[51]等。由于目标检测的成功，物体提议研究的最近趋势已经从对象发现转向了检测。虽然对象发现提议的目标是在图像中提议任何对象，但检测提议的目标是仅为下游分类器提议已标记的类别。由于其简单性和与下游检测的共享计算，基于学习的提议成为受欢迎的检测提议。然而，与其无需学习的对应物[42, 59, 74]不同，这些方法倾向于过度拟合已注释的类别，并难以处理新对象[33, 41, 64]。我们想要探讨的问题是，是否可能将两者的优点结合起来，“学习开放世界（新颖）的对象提议”？这可能会为一些有前途的应用程序提供学习提议，包括开放世界检测[30]/分割[66]、机器人抓取[15]、主观视角视频理解[14]和大词汇检测[24]。

在给定一组物体注释的情况下，我们希望学习一般物体的外观，并从看不见的类别和新数据源中提出高度不同的物体候选项。这与人类在新环境中检测新颖物体而不命名它们的类别的能力相匹配，例如，道路上的障碍物，货架上的新产品。我们的主要洞察力在于，现有对象提议器[33, 41, 60]中的分类器或类别无关的检测器[45, 56]阻碍了这种泛化，因为模型倾向于过度拟合标记的对象并将训练集中的未标记对象视为背景。我们提出了对象定位网络（Object Localization Network，OLN），它通过预测一个区域的定位质量来学习检测对象，而不是进行前景-背景分类。这个简单的想法使模型能够学习更强的对象性线索。据我们所知，我们是第一个证明纯定位为基础的对象性学习对于提出新颖对象的价值的人，尽管在标准的固定类别检测设置中已经有其他人提出了将定位质量估计纳入其中的想法[28, 29, 56, 69]。我们展示了一个不依赖分类器的对象提议器是实现最佳的跨类别和跨数据集泛化的关键，这是与现有提议器或类别无关的检测器的重要设计区别。

我们在COCO交叉类别设置中研究了OLN的有效性，遵循了现有的研究[33, 41, 64]。尽管简单，OLN在新颖类别上的性能优于最先进的方法，AUC提高了+3.3（AR@10提高了+5.0，AR@100提高了+5.1）。我们的消融研究证实前景与背景分类器的使用有害，而定位有助于提高性能。此外，我们研究了从COCO到RoboNet [15]、Objects365 [48]和EpicKitchens [14]的跨数据集泛化。我们选择了RoboNet，因为它包含了机器人抓取应用中常见的各种新颖物体，而垃圾箱环境允许更可靠的详尽注释以进行适当的评估。在RoboNet上，OLN执行详尽的、与类别无关的对象检测，并在AP上优于标准方法+13∼16，而在Objects365上，OLN在AR@10上提高了+4，在AR@100上提高了+8。在EpicKitchens上的定性可视化进一步显示，OLN在检测各种新颖物体方面优于标准方法。最后，我们将OLN作为RPN [45]在LVIS长尾检测 [24]上的替代，并观察到AP提高了+1.4，其中大部分归因于罕见类别的提高（+3.4 APr）和常见类别的提高（+1.8 APc）。这表明OLN能够捕捉大词汇检测中的长尾。

值得注意的是，评估定位质量在标准检测中并不新鲜，但它们总是与分类一起使用，并仅在已知类别上进行验证，例如FCOS [56]。据我们所知，我们是首批独立于分类使用定位线索进行对象提议的研究者。这一发现帮助我们在COCO数据集上取得显著的增益，并在许多不同的数据集上比现有方法更好地进行泛化。

我们的贡献总结如下：
• 据我们所知，我们是首批展示了基于纯定位的对象性学习对于新颖对象提议的价值，并提出了一种简单但有效的无分类器的Object Localization Network（OLN）。
• 我们的方法在COCO的跨类别设置上优于现有方法，并改进了在RoboNet和Object365的跨数据集设置、长尾检测（LVIS）和主观视频（EpicKitchens）上的标准方法。
• 我们对RoboNet数据集进行了精心的注释，以详尽方式标注了所有对象的存在。我们执行了面向开放世界的无类别对象检测，并评估了平均精度，这也改进了现有基于AR的部分注释数据上的提议评估。
• 对OLN建模选择进行了广泛的剔除和分析，揭示了每个定位线索的好处以及现有基于分类器的方法的过拟合情况。

图1：尽管以前从未见过这些物体，但人类可以在这幅图像中识别新颖的物体。“是否可能学习开放世界（新颖的）对象提议？”在本文中，我们提出了Object Localization Network（OLN），该网络学习的是定位线索，而不是前景与背景的分类。仅在COCO数据集[38]上进行训练，OLN能够提出许多新颖的物体（顶部），而Mask R-CNN（底部）则在主观视角视频的样本帧上错过了这些物体。

2 相关工作

在下文中，我们将讨论改进提议和检测质量的现有努力，以及将检测扩展到更多视觉类别的研究。

目标提议。在早期的研究中，重点是类别独立的目标提议[2, 4, 18, 39, 74]，其目标是识别图像中所有物体的实例，而不考虑它们的类别。这些工作利用手工制定的启发式方法来捕捉一般物体的概念[59, 74]，即颜色对比、边缘等。