1. Introduction
对象检测的问题定义是确定对象在图像中的位置以及每个对象所属的类别。上面的定义给出了如何解决这个问题的线索:通过从图像(它们在哪里)生成对象提案,然后将每个提案分类成不同的对象类别(它属于哪个类别)。这个两步解决方案在某种程度上与人们看到事物的注意机制相匹配,首先给出整体场景的粗略扫描,然后重点关注我们感兴趣的区域。
事实上,上述直观的解决方案是研究界多年来一直在向前发展的方向。近来,通过计算机视觉的两个进步,两个步骤(提案生成和对象分类)都得到了令人满意的解决:首先是引入通用对象提案,其次是卷积神经网络(CNN)的复兴。通用对象提议算法(例如,Selective Search [34]和EdgeBox [38])可以为每个图像提供大约2000个提案,以覆盖大多数对象,并为每个提案使用更复杂的分类器。卷积神经网络(CNN)的繁荣来自于它的丰富表示能力和强大的图像识别泛化能力,这在挑战性的ImageNet分类任务中被证明[20,31,29]。利用现成的方法,开创性的工作R-CNN [15]表明,基于Selective Search的区域建议加上基于CNN的对象分类器可以在对象检测中取得非常有前途的表现。R-CNN框架由Fast R-CNN [14]和Faster R-CNN [27]进一步完善,前者实现了整个流水线的端到端学习,后者引入了RPN获得更高质量的对象提案。
虽然R-CNN框架在诸如PASCAL VOC之类的基准上实现了卓越的性能,但是在对每个任务(提案生成和分类)的结果进行详细分析之后,我们发现了很大的改进空间。我们声称目前的解决方案与任务要求之间存在偏差,这是流行的两步框架的核心问题。具体来说,在提案生成中,任务只需要对象的提案,但通用对象提议算法的输出仍然包含很大比例的背景区域。在对象分类中,任务要求在对象之间进行分类,而实际上在R-CNN中,它成为对象类别加背景之间的分类。 许多背景样本的存在使得特征表示捕获更少的类别内方差和更多的类别间差异(即主要在对象类别和背景之间),在不明确的对象类别中导致许多false positive(例如,将树分类为盆栽植物)。(不懂)
受到“分而治之”策略的启发,我们提出通过网络级联进一步划分每个任务,以缓解上述问题(见图1)。实际上,在提案生成任务中,我们添加另一个基于CNN的分类器,以便根据现成提案算法的输出(例如,区域提案网络)区分对象与背景。并且在对象分类任务中,由于N + 1类&#x