实例分割算法PANet：Path Aggregation Network for Instance Segmentation

论文链接：https://arxiv.org/abs/1803.01534

这篇文章提出的Path Aggregation Network (PANet)整体上可以看做是在Mask RCNN上做多处改进，充分利用了特征融合，比如引入bottom-up path augmentation结构，充分利用网络浅特征进行分割；引入adaptive feature pooling使得提取到的ROI特征更加丰富；引入fully-connected fusion，通过融合一个前背景二分类支路的输出得到更加精确的分割结果。整体而言对于目标检测和分割系列算法有不少启发。

一、主要创新点

1、Bottom-up path augmentation。

在FPN的基础上引入Bottom-up path augmentation，具体结构如下图所示。主要的目的是减少从底层特征到高层特征的路径（从N2到N5总共不到10层卷积，而红色虚线箭头所示的提取特征操作可能经过几十层卷积操作，丢失较多位置及细节信息），防止底层具体位置信息的丢失，使特征金字塔提取的特征更精确。其中N2等同于P2，不做任何处理。

 

2、Adaptive Feature Pooling。

在FPN网络中，P2~P5层使用不同尺寸及长宽比的RoI，对每个ROI proposal做ROI Pooling或者ROI Align时，只在该ROI所在的feature map上提取特征，即尺寸最小的ROI只在P2上做ROI Pooling或者ROI Align，尺寸最大的只在P5上。本文中不同在：对每个proposal做ROI Pooling或者ROI Align时，取所有层特征，即分别映射到N2~N5层提取特征后融合（文中实验表明取max操作效果最好）作为ROI最终的特征。这样做的好处是让ROI能利用不同层级的特征，得到的特征更精确。

 

3、Fully-connected Fusion。

在mask RCNN网络的实例分割mask prediction branch，对每个ROI做ROI Align后的特征接一个FCN网络对每个类别预测一个二分类的mask输出，这个FCN网络一般是叠加多个卷积（例如4个），再接一个deconv及1×1卷积得到输出结果。由于全连接层与FCN具有不同特性，本文在原有基础上添加一个全连接分支，与FCN输出融合，用于提升mask预测精度。全连层的输出是判断每个像素是前景或背景类。

实验中表明fc分支加在conv3后面精度最高。

二、实验结果