目标检测之FPN（Feature Pyramid Net）

FPN思想

FPN的思想来源是传统图像处理中的图像金字塔（image pyramid），例如sift特征构建中使用的不同尺度的图像金字塔。FPN思想的主要是用来提高模型对不同大小输入图像以及目标检测问题中不同大小物体的鲁棒性。

模型结构

• （a）中的图像金字塔，即将图像resize到不同的大小，然后分别对不同大小的图片使用模型进行训练和检测。这种方法的缺点在于增加了时间成本。有些算法会在测试时候采用图像金字塔。
• SPP net，Fast RCNN，Faster RCNN是采用（b）方式，即仅采用网络最后一层的特征。
• SSD（Single Shot Detector）采用（c）多尺度特征的方式，没有上采样过程，即从网络不同层抽取不同尺度的特征做预测，这种方式不会增加额外的计算量。作者认为SSD算法中没有用到足够低层的特征（在SSD中，最低层的特征是VGG网络的conv4_3），而在作者看来足够低层的特征对于检测小物体是很有帮助的。但是我个人认为，在这里SSD只是用了一个浅层layer的特征，进行目标检测，会缺少全局语义特征。只是用一个深层layer的特征进行目标检测会缺少局部特征细节。这才是SSD在使用多尺度特征进行目标检测的时候的主要问题
• FPN采用（d）方式，多尺度特征融合，实现了在目标检测的时候既考虑全局特征同时又考虑局部特征。

多尺度特征融合方式

• 将上层特征进行上采样得到和下层特征图同样大小的特征图，然后两个特征图进行融合得到最终的特征图，使用该特征图作为进一步处理的输入特征。

FPN效果