强监督细粒度分类：Part-based R-CNNs

PDF链接

细粒度分类的一种方法是基于定位-识别，又可以继续分为强监督和弱监督两种。这篇文章是ECCV 2014的一篇强监督细粒度图像检测。

主要贡献：提出了一个细粒度分类模型，该模型学习整个对象和部分检测器，在它们之间强制学习几何约束，并从姿势规范化表示中预测细粒度类别，在端到端评估中，能够优于最先进的细粒度分类方法，而无需在测试时使用边界框。

摘要

  目前已有的姿势规范化表示的方法，由于对象检测的困难，通常在测试时使用边界框标注。

  文章提出了一个细粒度分类模型，该模型通过利用基于自底向上区域建议计算的深层卷积特征来克服这些限制。该方法学习整个对象和部分检测器，在它们之间强制学习几何约束，并从姿势规范化表示中预测细粒度类别。在Caltech的UCSD bird数据集上的实验证实，我们的方法在端到端评估中，能够优于最先进的细粒度分类方法，而无需在测试时使用边界框。

Introduction

  细粒度图像分类的挑战——相关的类别中某些细节存在细微的差异。通常需要以物体的姿势作为条件，才能进行可靠的识别。这里举了一个例子，人脸识别中表现最好的方法就是从脸部标志的位置提取特征。

  因此，定位对象中的part，对于建立对象实例之间的对应关系，以及忽略对象的姿势变化和摄影机视角位置至关重要。以前的工作已经研究了基于部件（part-base）的方法来解决这个问题。许多姿势规范化表示的瓶颈实际上是精确的部件定位。接着举出几个工作：Poselet和DPM，这些工作在测试时也需要给定标注框。

  本文提出了一种端到端的细粒度分类系统，在测试时不需要物体的标注框，并且可以实现与先前报告的方法相媲美的性能。

  DPD-DeCAF使用DeCAF作为特征描述，但是需要HOG-based DPM来进行part定位。PANDA学习了部分特定的深卷积网络，其位置取决于基于HOG的poselet模型。这些模型缺少R-CNN的强度，以及检测的鲁棒性。这两种方法在描述和part定位上使用的方法是不统一的，本文工作中，我们探索一种统一的方法，使用同样的深度卷积表示来进行检测和part描述。

Related Work 

  这部分分为三块，分别介绍了一下基于部分的检测模型和姿势定位、细粒度分类和CNN。

Part-based R-CNNs 

  我们将R-CNN扩展到检测物体和在几何先验下定位其中的部分。通过对感兴趣对象的各个语义部分的位置（例如，动物类的头部位置）进行假设，可以对细微的外观差异进行建模，这些差异往往出现在相对于这些部分大致固定的位置。

  在R-CNN方法中，对于特定对象类别，具有CNN特征描述符的候选检测被分配一个