《Faster R-CNN Features for Instance Search》笔记

摘要：

从Faster R-CNN提取图像和区域层次的特征表示。利用RPN及其相关的CNN特征获得的对象建议，构建一个由第一个过滤阶段，随后进行空间重新排列的实例搜索方法。并通过微调网络来考察Faster R-CNN特征的适用性。

文中主要贡献：

1. 利用已经训练过的关于目标检测的CNN模型来提取全局和局部层次的卷积特征。
2. 考察利用RPN学习到位置信息来提取大概的目标位置来进行空间位置的重排序策略
3. 利用同一实例来微调CNN模型，并发现一个可以学习到更好的图像表示策略

细节部分：

查询实例指：查询图片上一个候选框内部分图片，选择Faster R-CNN的caffe model。Faster R-CNN由两共享卷积层的两个分支构成：学习窗口位置的RPN和对每个窗口的标签分类器。

主要两种策略来进行特征提取：

• Image-wise pooling of activations(IPA)，为了从快速R-CNN层激活构建全局图像描述符，可以选择忽略网络中使用对象提议操作的所有图层，并从最后的卷积层提取特征。 给定为图像提取的卷积层的激活，聚合每个滤波器响应的激活，以构建与卷积层中的滤波器数相同维度的图像描述符，这当中使用SPOC和MAX两种池化策略。

• Region-wise pooling of activations(RPA)，在最后卷积层后面，Faster R-CNN应用一个区域池化层来对每个RPN学习到的每个窗口提议进行卷积层提取。这样，对于每个窗口提议，可以通过聚合在RoI池化层中该窗口的激活来组合描述符，从而提供区域性描述符。在这当中也是使用SPOC和MAX两种池化策略。

图片2为整个检索的过程。

关于微调Faster R-CNN：本文探讨了Faster R-CNN微调的适用性，1）获得更好的图像检索特征表征，2）提高空间分析和重新排序的性能。 为了实现这一点，我们选择微调Faster R-CNN来检测我们系统要检索的查询对象。 这样，我们修改了Faster R-CNN的体系结构，以输出被测数据集的每一个查询实例的回归边界框坐标和类分数。

文中采取两种微调策略：

• 微调策略 #1：仅更新分类分支中的全连接层权重(卷积层和RPN中保持不变)
• 微调策略 #2：在前两个卷积层之后的所有层的权重被更新。 这样，卷积特征、RPN提议和完全连接层被修改并适应于查询实例。

微调后的网络被用于提取更好的图片和区域表示和进行基于类别分数的空间重新排列，而不是基于特征相似性。

未完待续。。。。