【论文学习笔记008】FPN

1.论文信息

题目	Feature Pyramid Networks for Object Detection
作者	Tsung-Yi Lin, Piotr Doll´ar,Ross Girshick, Kaiming He, Bharath Hariharan,Serge Belongie
年份	2017
论文地址	https://arxiv.org/abs/1612.03144
项目地址	https://github.com/unsky/FPN

2. 论文创新点

• 引入特征金字塔网络，解决多尺度检测问题
• 提出FPN算法，通过上采样与横向连接的方式融合了低层高分辨率特征图和高层级高语义特征

3.欲解决的问题

• 以往的目标检测算法ROI都作用在最后一个卷积层，一般大目标检测没有问题，但是小目标检测会出现问题。因为卷积池化到最后一层，小目标的语义信息已经消失了。

4.解决方案

4.1 特征金字塔

• 图(a)是特征图像金字塔，即设置不同的缩放比例将输入图像分为多种尺度，然后不同尺度的图像生成对应的不同尺度的特征。 这种方法可以解决多尺度问题，但是相当于训练了多个模型，增加了时间成本。
• 图(b)是单一特征图，SPPNet，Fast RCNN，Faster RCNN都是采用的这种方式，即仅采用网络最后一层的特征来预测。
• 图©是SSD采用的多尺度特征融合方式，没有上采样过程，即从网络不同层抽取不同尺度的特征做预测，这种方式不会增加额外的计算量。但是SSD为了避免使用低层级的特征，放弃了浅层的特征图，而是从conv4_3开始建立金字塔，而且加入了一些新的层。因此SSD放弃了对小目标检测十分重要的低层高分辨率特征图。
• 图(d)是特征金字塔网络，顶层特征通过上采样与横向连接和低层特征做融合，每层独立预测，实现了从单尺度的单张输入图像，快速构建在所有尺度上都具有强语义信息的特征金字塔，同时不产生明显的代价。

4.2 FPN检测器

• 首先，将预处理过的图片送入预训练的特征网络中(ResNet)，生成下采样网络(即从1层至3层)；
• 其次，构生成相应的下采样网络(即对4层上采样，先用1x1的卷积对2层降维，然后将两者相加，最后进行3x3的卷积操作)；
• 再次，在4、5、6层上面分别进行RPN操作(即一个3x3的卷积后面连接两个1x1的卷积分别用来分类和回归)；将获得的候选ROI分别输入到4、5、6层分别进行ROI池化操作(即固定为7x7的特征)；
• 最后，连接两个1024层的全连接网络层，分别连接对应的分类层和回归层；

5.几点思考

5.1 为什么FPN能够很好的处理小目标

• FPN可以利用下采样模型获得的上下文信息；
• FPN增加了小目标的特征映射的分辨率(即在更大的特征图上进行操作)

6.论文结果

7.待解决的问题

• 采用特征金字塔网络对硬件的算力、内存要求较高