物体检测之FPN

论文：Feature Pyramid Networks for Object Detection 

Github：https://github.com/facebookresearch/deepmask

 

cvpr2017，凯明的大作

 

论文提出多尺度的物体检测算法，特征金字塔Feature Pyramid Network (FPN) 。原来多数的物体算法都是只采用顶层特征做预测，像faster RCNN系列，但是低层的特征语义信息比较少，但是目标位置准确；高层的特征语义信息比较丰富，但是目标位置比较粗略。另外虽然也有些算法采用多尺度特征融合的方式，但是一般是采用融合后的特征做预测，像EAST，而本文不一样的地方在于预测是在不同特征层独立进行的，从而充分利用了不同尺度的特征信息。FPN测试速度6FPS在GPU上。

论文基于faster RCNN修改基础backbone为FPN进行检测操作，修改deepmask做分割操作。

最终使得检测的RPN模块Average Recall (AR) 提高8个点，物体检测在COCO数据集上Average Precision (AP) 提升2.3个点，VOC上提升3.8个点。

(a)图片金字塔，基于不同尺度的图片提取特征，像传统的sift，hog等特征

(b)基于最后一层的特征做预测，像faster RCNN系列

(c)基于不同尺度的特征层分别做预测，像ssd

(d)基于不同尺度的特征层预测，并且带有由顶层到底层的特征融合，本文的FPN

上图：具有从顶层到底层的特征融合，但是只在最后一个融合的特征层做预测，代表作EAST。

下图：本文的FPN结构，每个scale尺度都有预测。

 

ResNet结构：

FPN结构：

FPN网络采用Resnet结构，其中残差block(C2; C3; C4; C5)分别代表conv2, conv3, conv4, conv5的输出，这样得到stride分别为（4, 8, 16, 32）。这里没有考虑conv1，主要由于conv1的输出的特征图太大，需要占用大量的显存。

每一个conv层的输出一个要做预测操作，一个要进行上采样操作（X2），然后和上一个block中的卷积输出进行融合，融合过程，首先将上一个block中的卷积输出进行1*1卷积的降维操作，然后和之前上采样的输出进行求和的操作，从而得到融合后的特征。然后对融合后的特征进行3*3卷积操作，使得最终融合后的输出都为256个channel。最终conv2, conv3, conv4, conv5对应的输出分别为P2, P3, P4, P5 。

 

RPN中使用FPN的改动：

对于P2, P3, P4, P5, P6分别使用的anchor为scale为（32*32; 64*64; 128*128; 256*256; 512*512）这5个，即一个特征图使用一个与之对应的anchor的scale。长宽比aspect ratios分别为 （1:2; 1:1, 2:1），即每个特征图都有这3种不同长宽比。最终一共有15种anchor。

 

当预测和groundtruth的IOU大于0.7，或者与groundtruth的IOU最大，则该预测框为positive

当预测和groundtruth的IOU小于0.3，则该预测框为negative

 

Fast R-CNN 中使用FPN的改动：

在Fast R-CNN 模块中，RoI pooling 操作是在一个feature map 进行7*7的ROI的crop操作。但是FPN使用了好几个不同尺度的feature map。这样就引入了一个问题，原图上anchor预测的框该还原为哪个scale的feature map?

为了解决这个问题，论文引入了下面的公式，

224表示IMAGENET预训练的输入图片大小为224*224。

w,h表示ROI区域的宽高。

K0表示目标ROI区域的大小为224*224大小的区域。论文将C4的输出作为224*224的ROI，即k0。

例如，

w=h=224，得到k=k0，也就是c4层

w=h=112，得到k=k0-1，也就是c3层

w=h=448，得到k=k0+1，也就是c5层

 

当然这样也会引入一个误差，会出现预测边框实际是c3预测的，结果上面公式算完是在c4的特征图上crop的想象。感觉这样的误差应该不会很大。

FPN在deepmask分割上的应用：

实验结果：

检测结果：

分割结果：

总结：

FPN（Feature Pyramid Network）算法同时利用低层高分辨率特征和高层语义特征，通过融合这些不同层的特征达到预测的效果。并且预测是在每个融合后的特征层上单独进行的，这和常规的特征融合方式不同。