1.整个网络结构
整个网络从总体上看是faster-rcnn的网络结构,上面一部分是faster-rcnn 的RPN net部分,RPN net的输出rpn proposals,网络的下面部分
是ROI pooling 加上三个全连接层,输出是class probabilities.
Image-wise pooling of activations(IPA): 这一步骤实际上抽出image的representation,具体的方法是从卷积层的最后一层
conv5_3(针对VGG16 Net,并且经过了reLu层之后),然后做pooling,具体pooling 的方法作者是借鉴另外一篇paper:《particular object retrieval
with integeral max-pooling of CNN activations》。举个例子来说:如果最后conv5_3得出的feature map的维度是K*W*H,其中K为卷积核的数目,W*H
为每一个卷积核卷积之后的feature map,这样对于每一个W*H的feature Map 采用max-pooling 或者sum-pooling 就能得到一个值。这样,整个K*W*H
采用pooling之后得到的feature即为K*1的向量。
Region-wise pooling of activations(RPA): 这一步骤得到的是region的representation,有了上面的IPA,这一步的RPA也很容易理解,
就是找出region proposals 的ROI pooling,在ROI pooling层上面做max-pooling。
2.fine-tuning faster rcnn
fine tuning 采用两种方式:
strategy1: fine tuning ROI pooling之后的三层网络。
strategy2:fine tuning network after conv_2
fine-tuining 所使用图像为query 图像以及将其做horizontal flip之后的图像(个人感觉图像好少)。
3.Image Retrieval
一共分为三个步骤:
1.过滤:提取出查询图像以及数据库图像的IPA,然后通过计算余弦距离将数据库图像进行排序。(整个过程都是使用的图像的IPA与区域无关)。
2.空间重排:
空间重排采用了两种方法:
Class-Agnostic Spatial Reranking (CA-SR):假设类别不可知,计算每一个query bounding box的RPA与采用第一部过滤前N幅图像每一个proposal的
余弦距离,最高的作为query与图像的余弦距离。
Class-Specific Spatial Reranking(CS-SR):使用和query相同的instances 来fine-tuin过后的整个网络,然后使用FC-8之后的class-probality 的类别得分
将其作为query与proposal 的得分。
3.查询扩展:最简单的查询扩展的方法。
4.实验
1.对比IPA以及RPA采用sumpooling 以及 maxpooling的好坏。最终得出IPA使用sumPooling RPA使用maxPooling
2.使用fine-tuin、重排、查询扩展的结果图:
作者得出的结论是是使用第二种fine-tuin的方式能够使查询结果得到很大提高。
和stat-of-art方法的比较:
作者的conclusion:
1.suitable to obtain image and region features in a single forward pass.
2.Fine tuining as an effective solution to boost retrieval performance (subject to application time constrains)
5.细节:
1.Image-wise pooling of activations (IPA)
就是用最后一层卷积层的激活值来构建对整幅图片的描述。
2.Region-wise pooling of activations (RPA)
RPN产生的proposals的卷积特征求和池化特征先用L2归一化,whitening后再L2归一化一次,而最大池化特征只进行一次L2归一化。
3.微调faster-rcnn
两种:只调整全连接层和除前两层卷积层外都所有层都微调
4.Class-Agnostic Spatial Reranking (CA-SR)
未知类别空间排序
5.Class-Specific Spatial Reranking (CS-SR)
特定类别排序,使用相同检索物体微调后的网络,可以直接使用RPN proposal的得分来作为与待检索物体的相似度得分,
得分用来对图片列表进行排序。
6.数据集
在Oxford和Pairs数据集里,输出12种类别可能(11种建筑+背景)。
在INS 13中有30种不同的检索实例,输出31种类别可能。