《PANet：Path Aggregation Network for Instance Segmentation》论文笔记

代码地址：PANet

1. 概述

导读：这篇论文是港中文大学与腾讯优图实验室联合发表的论文，其中提出神经网络中信息的传输是很重要的，由此提出了PANet的网络模型，增加了Bottom-up的金字塔特征，提取所有特征层信息的自适应池化层，在mask分支通过二值分类优化分割性能。该网络在COCO2017实例分割中取得第一名，目标检测第二名的成绩。

作者首先在前人工作基础上提出了两个疑问：
特征路径的问题：
低等级的特征能帮助识别大目标，但是低等级的特征信息需要走过较长的路径才能到达最高等级的特征层，这就是使得利用低等级的特征实现更高精度的定位变得困难。

特征池化操作中的问题：
在之前的工作中候选检测框的预测都是在一个特征层上进行的，这样其它层的信息就被抛弃掉了，失去了获得更多多样信息的机会。

在这篇文章中提出了PANet的网络结构，文章的主要贡献可以归结为如下几点：

• 1）在该网络结构中为了缩短对低层级特征的采集距离与使用低层级增强特征金字塔的定位准确度，由下至上特征传播路径被提出，见图1中（b）部分。
• 2）为了修复每个proposal与所有特征图之前的信息中断（FPN按照目标大小分配特征层），文章提出了自适应的特征池化操作，它为每个proposal整合所有特征层的信息；
• 3）为了捕捉每个proposal的不同视图，使用微小的全连接(fc)层来增强掩模预测，这些层具有与FCN互补的特性，最初是在Mask R-CNN中使用的；

2. 网络设计

PANet的网络结构如下图所示，很明显可以看到有一个由下而上的金字塔结构，之后融合的特征再进行检测框分类与回归、实例分割。

2.1 由下至上的路径增广

FPN中top-down思想：一般来说高层级的特征层对整图全部目标具有较高响应，而其它低层级的特征对局部的纹理等特征具有更好的表达，这样就可以使用top-down的方式将高层级的特征与低层级的特征混合，从而提高FPN中所有具有合理分类能力的特征。而在这篇文章中作者使用bottom-up的思想进一步融合特征，使得高层级特征获得低层级特征的路径变短。

这里设计的bottom-up的特征连接结构如图2所示，特征$P$是FPN网络产生的特征层，特征$N$是论文bottom-up产生的特征，特征的尺度缩减是通过 k e r n e l =