FPN论文阅读笔记

一、摘要

特征金字塔是识别系统中用于检测不同比例物体 的基本组件。FPN是一种具有侧向连接（lateral connections）的自上而下的网络结构，用来构建不同尺寸的具有高级语义信息 的特征图。

二、引言

针对识别尺寸差异很大物体的任务，论文总结了四种解决方法：
1、利用图像金字塔构建特征金字塔

优点 ：对每一种尺度的图像进行特征提取，能够产生多尺度的特征表示，每层特征图都具有较强的语义信息。
缺点 ：（1）推理时间大幅增加；（2）占用内存巨大
2、常用目标检测网络

使用单个高层特征图进行预测
3、卷积网络的金字塔型特征层级

比如SSD就是利用不同层多尺度的特征图，但它存在的问题是：低层特征图语义信息不够，低层特征图的分辨率也不高 。SSD为了解决这个问题，它没有使用低层特征图，而是从conv4（一个到conv5）之后添加了几个新的卷积层用于多尺度。因此SSD错过了使用低层的高分辨率的特征图。

4、特征金字塔
本片论文使用的FPN，它能够使每一层不同尺度的特征图都具有较强的语义信息

三、金字塔结构

1、自底向上

FPN使用C2-C5进行预测（因为第一级的语义太低了），{C2,C3,C4,C5}表示conv2，conv3，conv4和conv5的输出层(最后一个残差block层)作为FPN的特征，分别对应于输入图片的下采样倍数为{4，8，16，32}

2、自顶向下

上采样采用最近邻插值法

最近邻插值可以最大程度的保留特征图的语义信息，从而与bottom-up过程中相应的具有丰富空间信息（高分辨率，有利于定位）的特征图进行融合，从而得到既有良好空间信息又有强烈的语义信息的特征图。

特征金字塔构造流程为：C5层先经过1X1卷积，改变特征图的特征数（文章中设置d为256,） ，M5通过上采样，在与C4经过1X1卷积后的特征图相加（对应相加），得到M4。同样地，会得到M3，M2。M层特征图再经过3X3卷积（以减轻最近邻差值带来的混叠影响）得到最终的P层。

RPN结构

Faster RCNN中的RPN是通过最后一层的特征图作为输入的，最后再经过3X3卷积，得到256个channel的卷积层，在分别经过两个1X1卷积得到类别得分和边框结果。对于特征图上的每一点，模型预设了9个框，它们包含不同的尺度和不同的长宽比例 。
FPN将RPN应用在了每一个P层，由于每个P层相对于原始图片具有不同的尺度，因此 作者将原始RPN中的尺度分离 （原来是利用3个不同尺度和比例生成9个anchor），让每个P层只处理一个尺度 ，具体来讲，是将{32², 64², 128², 256², 512²}这5中尺度应用在P2-P6这5个特征层上，每个特征层处理1:1，1:2，2:1三种比例，其中P6是有P5下采样得到的，用来处理512大小的框。
并且，上述的RPN网络参数是共享的。 因为研究发现共享与否对结果影响差别不大。这说明不同层级之间的特征具有相似的语义信息 。