论文阅读五：PANet《Path Aggregation Network for Instance Segmentation》

PANet获得了COCO2017挑战赛，分割第一，检测第2的号成绩。

一、论文出发点

   1、神经网络中，低层特征主要是一些边缘轮廓信息，有助于定位，而高层特征是一些语义信息，有助于分类，在FPN中提出了top-to-down的多层特征融合的线路，来增加每层特征的丰富性，但是，整个网络，例如Mask R-CNN中，低层特征流向高层特征的路线过长，导致高层特征中包含的定位信息比较少。
    2、Mask R-CNN中，大size的proposal被分配到高层特征，小size的proposal被分配到低层特征，导致单个proposal只在一个特征层上进行预测，预测该proposal时，其他层的特征没有得到充分的利用。

二、论文的创新点

1、针对底层特征流向高层特征的路线过长的问题，加入了Bottom-up的短线路。
2、针对proposal只在一个特征层上进行预测的问题，提出了 adaptive feature pooling，进行特征融合。

三、Bottom-up Path Augmentation

   上图是整个网络的框架图，(a)是Mask R-cnn的基础网络结果，(b)是增加的bottom-up的线路流，便于低层特征向高层流去，（c)是Adaptive feature pooling。(a)中的红色虚线，是Mask R-cnn中低层特征流向高层特征的路线，可以发现，中间多达一百多层的卷积（resnet卷积层数多），导致P5中含有的定位信息很少，而(b)中增加的bottom-up的蓝色虚线，低层特征，直接到达P2，然后再由P2经过N2、N3、N4一步一步传递到N5，N2到N5中含有丰富的定位信息。

四、Adaptive Feature Pooling

   在FPN中，proposals根据自身的尺寸大小，被分配到不同的level的特征层，进行Roi-align，即小尺寸的proposal被分配到感受野比较小的low-level的特征层，大尺寸的proposal被分配到感受野比较大的high-level的特征层，但是这样不是最好的处理方式，例如两个相差10个像素的proposal被分配到不同的level层，但是这两个proposal有可能很相似。
   并且这样的作法导致一个proposal只能在被分配的level层进行预测，其他层的特征就不能很好的利用，例如，高层特征感受野大，纹理信息丰富，小的proposal，也可以合理的利用，来提高预测，底层特征含有丰富的定位信息，大的proposal可以用来精确定位。
Adaptive Feature Pooling的步骤：
1、每个proposal map到不同的特征层；
2、使用ROIAlign将该proposal从每个特征层中pool出对应的特征；
3、然后使用element-wise max 或是 sum操作将每个阶层pool出来的特征进行融合，使用融合特征进行后续的回归和分类。
示意图如下：

实验图：

   上图是使用adaptive feature pooling从各个层pool出来的特征比例，蓝色的level1是按照FPN的方式分配到level1层的proposals的集合，桔色的level2、灰色的level3、黄色的level4是同样的意思。横坐标是四个阶层，纵坐标是每个阶层中特征占的比例，比例的计算方式如下，在Adaptive Feature Pooling的步骤中，从每个阶层pool到的特征，使用element max的方式进行融合，这样该融合特征每个位置的值都是从level1到level4 pooled特征对应位置的值max出来的，将该位置选择的是哪个level记录下来，用于统计，这样就可以计算出，一个proposal对应的融合特征中每个level层占用的比例，就有了上面的曲线图。
   观察上图可以发现，按照FPN的方式被分到level1的proposals，pool出来的特征，100%来自level1，因为这些proposals只能在level1中进行操作，但是如果按照adaptive feature pooling的方式pool出来的融合特征，有70%来自其他的高层特在，而黄色的level4，有50%来自其他的低层特征，这个实验说明了，adaptive feature pooling的方式是有效的。