2018 CVPR
COCO2017/CityScapes instance segmentation 第一
Instance Segmentation
Path Aggregation Network for Instance Segmentation
代码地址
Mask R-CNN 中的信息传播 优化
PANet
Introduce
解决问题:
- 低层级的特征对于大型实例识别很有用, 最高层级特征和较低层级特征之间的路径长
- 每个建议区域都是基于 从一个特征层级池化 得到的 特征网格而预测的,此分配是启发式的。由于其它层级的丢弃信息可能对于最终的预测还有用,这个流程还有进一步优化的空间
- mask 预测仅在单个视野上执行,无法获得更加多样化的信息
改进
- 缩短信息路径和用低层级的准确定位信息增强特征金字塔,创建了自下而上的路径增强
- 为了恢复每个建议区域和所有特征层级之间被破坏的信息,作者开发了适应性特征池化(adaptive feature pooling)技术
可以将所有特征层级中的特征整合到每个建议区域中,避免了任意分配的结果。
- 全连接融合层:使用一个小型fc层用于补充mask预测
Augmented Bottom-up Structure
改动原因:
-
low-level的feature是很利于定位用的,虽然FPN中P5也间接得有了low-level的特征,但是信息流动路线太长了如 红色虚线 所示 (其中有 ResNet50/101很多卷积层 )
-
本文在 FPN 的 P2-P5 又加了 low-level 的特征,最底层的特征流动到 N2-N5 只需要经过很少的层如绿色需要所示 (仅仅有几个降维 [3×3 ,stride 2 ]的卷积)
以ResNet作为基础结构,使用 P 2 , P 3 , P 4 , P 5 {P_2,P_3,P_4,P_5 } P2,P3,P