PANet

前言

参考：

• 实例分割–(PANet)Path Aggregation Network for Instance Segmentation 对于bottom-up的解释比较好
• Path Aggregation Network for Instance Segmentation解读 解释了bottom-up，但对adaptive feature pooling的解释不够详细
• PANet：升级版Mask R-CNN Adaptive pooling的具体做法

FPN proposal

什么是FPN神经网络？如下图，就是基于特征金字塔的网络结构。具体可回顾yolov3的FPN章节。

什么是proposal？根据论文原文，proposal就是预测框的意思。

In ablation experiments, we find that for bounding box proposals, FPN significantly increases the Average Recall (AR) by 8.0 points; …

什么是stage和level？输出同一level特征图的神经网络层都处于同一个stage。

主要工作

如下图所示，本文提出了PANet。

1. 首先，缩短了信息路径，并且为了用低层准确的定位信息加强特征金字塔，创建了bottom-up path augmentation。
2. 提出了可适应池化。在生成某层预选框时，融合各层的特征作池化。
3. 最后，预测阶段可有两种任务，本文对mask预测任务进行改良，引入了全连接层，提供补充信息。

前两个组件是在对象检测、实例分割任务中都共享的，从而能导出更好的效果。下图是PANet的架构。

如上图架构所示，用了路径增强和路径融合两种做法提高模型效果。

1. 路径增强时指：提出了bottom-up路径，使得底层的信息更容易传播。
2. 路径融合是指：adaptive feature pooling，让预测框能拿到各种层级的信息用于预测。

bottom-up结构

是什么

如下图所示，

为什么

首先，高层与底层的特征各有优点：

• 高层特征的语义较强，通常对整个物体作响应。
• 底层特征的定位能力较强，通常对局部纹理和模式作响应。

FPN增强了top-down路径，将高层的语义特征传递到底层，并增强分类能力。

那么反过来，如果底层的纹理信息能顺利传递到高层，也能改良高层特征的定位能力。然而，现有结构的传递效率低，比如FPN的特征沿着卷积路径从底层传递到高层，需要经历100+个神经层（下图红色虚线）。然而，如果沿着本文的bottom-up路径，从底层传递到高层，仅需要经历不到10个神经层（下图绿色虚线）。所以说，bottom-up路径加强了底层特征向顶层传递的效率，减少了损耗，提升了顶层特征的定位能力，从而改善模型性能。

怎么做

$P_{i+1}$的尺寸是$N_i$尺寸的一半，所以需要用stride=2的3x3卷积将后者的尺寸减半，然后相加，即可得到$N_{i+1}$

adaptive feature pooling

操作过程

首先，我们要计算4组proposals，每次计算一组，都要使用4个layer的可视化pool结果。

可适应pooling操作是如何完成的？下图（c）是计算某组proposals下某个像素时进行的操作。可以看到，首先对4层各自作卷积，将4个结果用max pooling计算得到一个像素值。所有像素值合起来就是一组proposals的特征图了。使用ROIAlign操作可以保证从4层特征各自卷积，输出的尺寸是一致的。

具体操作也可参考知乎链接PANet：升级版Mask R-CNN：

为了得到更优的结果，PANet 索性将每个Proposal 在N2~N5对应区域（结构图b. 灰色区域）的特征都用上，具体使用方法为：
1、使用 RoIAlign 对其进行提取得到 4 组相同shape的特征图。
2、对4组特征进行融合，可以是sum、max、product。
3、使用融合后的特征图进行分类、bbox预测、mask预测。

如何理解下图表格？从4个层的同一像素位置融合时，使用max pool肯定会选中4层中的其中一个像素，那么就统计下到底来自哪个层的像素被选中了，并计算比例。

因为我们后续融合时不是要做max融合嘛，这样我们可以看看到底是哪个level被选中了，这样计算一些比例。

这样是为了说明，其实在4个layer里，每个layer都可能选中来自其它layer的卷积输出，这就证明了对4层卷积输出作max pooling融合的重要性。

ROIAlign

那么ROIAlign是如何保证对不同尺寸的特征层做卷积，仍然能输出一致的？初步思考可知，应该对各层用的卷积核大小、步长各不相同。