Feature Pyramid Networks for Object Detection 学习笔记

Feature Pyramid Networks for Object Detection 学习笔记

技术小白一枚，这是我的第一遍学习笔记，主要是为了记录自己看过的论文记录。。不是为了分享给大佬们看的，写的不好的地方请大佬们谅解

本篇论文主要包含以下几个部分：

• 摘要
• 简介
• FPN结构介绍
• 应用
• 实验

---

摘要

利用固有的多规模，金字塔层的深层卷积网络，以边缘切割为代价来构造特征金字塔网络，在top-down的基础上在Fast R-CNN 上使用该网络，并在COCO 数据集上取得单模型上的最好效果。

简介

这部分主要介绍了之前现有的一些利用金字塔模型的网络结构，但是它们都存在一定的缺陷，引出该方法的优势。

• Featurized image pyramid 用图像金字塔生成特征金字塔
• Single feature map 只在特征的最上层预测
• Pyramidal feature hierarchy分层预测

• Feature Pyramid Network 本文的特征金字塔网络
  

• 第一种结构对不同尺寸的图片生成不同尺寸的特征图，形成金字塔结构，这种的比较费时，而且要把同一张图做成不同的尺寸，显然麻烦

• 第二种则比较单一
• 第三种会错过高层的特征信息，没有对高分辨率图的特征进行合理的利用，总之就是别人的肯定都有缺陷，以此引出自己的很厉害啦
• 第四种是本文的方法，把低层的细节和高层的特征进行融合，取得了很好的效果，还不费时费内存

The goal of this paper is to naturally leverage the pyramidal shape of a ConvNet’s feature hierarchy while creating a feature pyramid that has strong semantics at all scales.

特征金字塔网络

主要包含三个部分：

• bottom-up pathway
• top-down pathway
• lateral connections

bottom-up pathway

自下而上的路径方法是所有网络的基本的方法，对图片的特征从小往上依次提取，低层的细节多，高层的特征性强

top-down pathway

自上而下的路径是本文中用到的，吧高层的特征进行*2之后，和低层的进行融合，从上往下依次表示，形成金字塔网络

lateral connections 横向连接

在本文的方法中，将低层的网络进行1*1的conv之后，横向传递与高层down下来的进行融合，后面的实验证明这个方法起了很大的作用

应用

该文中主要对FPN 的两个应用：

1. in RPN for bounding box proposal

2. in Fast R-CNN for object detection

   因为我在fast R-cnn这一块才在入门，所以对一些网络专有的名次还不是很懂，只能大概理解一下

在RPN中，用FPN来替代单尺度的特征图
在fast R-CNN中，FRCNN本身是一个区域的目标检测器，ROI池用于分割特征，在这里，为了配合FPN，作者将ROI不同比例分配到不同的金字塔级上，将conv5用来构建特征金字塔，ROI用来分离7*7特征，将两个隐藏的1024-d的fc层放在最终分类器的bounding box回归层之前，作为头部，更轻并且更快。

具体的一些细节，以及应用，在实验部分有更加详细的说明。可惜的是，这篇论文中并没有给出具体的改造的网络图，只能靠自己理解想象了。。。。sad

实验部分

实验部分给了很多对比的数据表，有RPN的，有Fast R-CNN的，还有Faster的，其中分别有用到top-down的，和用到横向连接的，对比很清晰，就不一一赘述了