PANet：Path Aggregation Network for Instance Segmentation论文阅读

概述

本文出自于港中文和腾讯优图，是COCO2017 instance segmentation的冠军作品。作者针对Mask-RCNN做了部分改进，笔者认为其两大贡献在于：bottom-up path augmentation 以及adaptive feature pooling。

Abstract：

层与层之间信息的传播在深度学习网络中至关重要，低层特征包含精准的位置信息，因此本文提出了bottom-up的信息传播路径增强方法来缩短特征信息在低层与高层之间的传播。其次还是用了adaptive feature pooling，针对一个proposals融合多个层级的特征后进行cls和reg。这两个技巧易于实现而且几乎没有增加参数和计算量。

Introduction：

现阶段Mask-RCNN是最有效简单的实例分割框架，其基于Faster-RCNN和FCN分别进行边框回归、类别识别以及像素级掩码预测，其中还是用了ROIAlign Pooling。FPN充分利用了特征层级，使用自上而下（top-down）路径增强以及侧向连接，为检测和分割提供了更加丰富有利的特征。

然而，对于Mask-RCNN仍然有提升的余地，特别是当充分考虑低层特征时，因为其含有精准的位置信息，但是在Mask-RCNN中从低层到高层的信息传递路径较长，不易于精准位置信息的传递。此外，每一个proposal只在一个对应尺寸的feature map上进行预测（只在某一层上ROIAlign pooling），其余层上的有用信息被丢失，这也不利于最终的预测。

Contributions:

基于以上两点考虑，作者提出了PANet结构。首先，为缩短信息路径和充分利用特征金字塔中低层特征中精确的位置信息，bottom-up path augmentation被提出，其次为了恢复每一个propoasal与其他层之间丢失的信息，提出了adaptive feature pooling，充分利用feature pyramid。

Framework：

PANet整体框架如下图所示：

其中a是中含有top-down的路径增强以及侧向连接，是FPN的框架；b是本文提出的bottom-up路径增强；c是Adaptive feature pooling模块。（N2=P2，没有任何处理）

bottom-up path augmentation

如上图所示，b模块与a模块的右侧类似，只是方向不同。一个新的特征map  Ni+1 由比其高一个等级的Ni和同等级的Pi+1产生，其中Ni+1进行3*3的核 stride为2 的卷积操作以减小map的尺寸，其得到的结果与Pi+1进行侧向连接后在进行卷积得到Ni+1，如下式和下图所示所示：

                                         

                                    

Adaptive feature pooling

在FPN中，每一个proposal被分配到不同级别的feature map上根据proposal的大小。例如，尺寸大的proposal分配到高层map中，小的分到低层的map中，但是这样不能最大化的同时利用高层的语义信息以及低层的位置信息。因此，作者在多层进行ROIAlign pooling后进行特征融合，将融合后的特征输入到检测与分割任务，称为Adaptive feature pooling。具体方法如下表所示：

                                        

level1-4代表低层到高层。以element-wise sum为例，对于小物体，在FPN可能只利用了level1的特征，但是对于Adaptive feature pooling，其融合特征为蓝色所示，由4个等级线性相加得出，其中level1的比例最大。对于大物体，则level4的比重最大，如橙色线所示。

                                             

其具体应用为ROIAlign pooling后经过一个全连接层的处理，在进行线性的叠加，如上图所示。

以上是鄙人对于PANet核心的理解，如有不妥之处，还望指正交流！