Feature Pyramid Networks for Object Detection 论文笔记

论文地址：Feature Pyramid Networks for Object Detection

前言

这篇论文主要使用特征金字塔网络来融合多层特征，改进了CNN特征提取。论文在Fast/Faster R-CNN上进行了实验，在COCO数据集上刷到了第一的位置，意味着其在小目标检测上取得了很大的进步。论文整体思想比较简单，但是实验部分非常详细和充分。此博文对主要内容进行了翻译和理解工作，不足之处，欢迎讨论。

摘要

特征金字塔是多尺度目标检测系统中的一个基本组成部分。近年来深度学习目标检测却有意回避这一技巧，部分原因是特征金字塔在计算量和用时上很敏感（一句话，太慢）。这篇文章，作者利用了深度卷积神经网络固有的多尺度、多层级的金字塔结构去构建特征金字塔网络。使用一种自上而下的侧边连接，在所有尺度构建了高级语义特征图，这种结构就叫特征金字塔网络（FPN）。其在特征提取上改进明显，把FPN用在Faster R-CNN上，在COCO数据集上，一举超过了目前所有的单模型（single-model）检测方法，而且在GPU上可以跑到5帧。代码暂未开源。

概述

多尺度目标检测是计算机视觉领域的一个基础且具挑战性的课题。在图像金字塔基础上构建的特征金字塔（featurized image pyramids ,Figure1[a]）是传统解决思路，具有一定意义的尺度不变性。直观上看，这种特性使得模型可以检测大范围尺度的图像。

Featurized image pyramids 主要在人工特征中使用，比如DPM就要用到它产生密集尺度的样本以提升检测水平。目前人工特征式微，深度学习的CNN特征成为主流，CNN特征的鲁棒性很好，刻画能力强。即使如此，仍需要金字塔结构去进一步提升准确性，尤其在多尺度检测上。金字塔结构的优势是其产生的特征每一层都是语义信息加强的，包括高分辨率的低层。

对图像金字塔每一层都处理有很大的局限性，首先运算耗时会增加4倍，训练深度网络的时候太吃显存，几乎没法用，即使用了，也只能在检测的时候。因为这些原因，Fast/Faster R-CNN 都没使用featurized image pyramids 。

当然，图像金字塔并不是多尺度特征表征的唯一方式，CNN计算的时候本身就存在多级特征图（feature map hierarchy），且不同层的特征图尺度就不同，形似金字塔结构（Figure1[b]）。结构上虽不错，但是前后层之间由于不同深度（depths）影响，语义信息差距太大，主要是高分辨率的低层特征很难有代表性的检测能力。

SSD方法在借鉴利用featurized image pyramid上很是值得说，为了避免利用太低层的特征，