一、论文简介
1.1、论文和代码链接
paper:http://xxx.itp.ac.cn/pdf/1803.01534.pdf
code:https://codechina.csdn.net/mirrors/ShuLiu1993/PANet?utm_source=csdn_github_accelerator
1.2、论文基本信息
发表于CVPR2018
这篇论文名为:用于实例分割的路径聚合网络,它不仅是COCO2017实例分割比赛的冠军,也是目标检测比赛的第二名。
此文提出Path Aggregation Network (PANet),是对Mask RCNN上进行多处改进,是一个二阶段实例分割算法,下面将详细解读此篇文章。
二、详细解读
2.1、摘要
信息在神经网络中的传播方式是非常重要的。本文提出了路径聚合网络(PANet),旨在促进基于提议的实例分割框架中的信息流。具体地说,本文通过自底向上的路径增强,在低层精确定位信号,从而缩短低层与最高层特征之间的信息路径,同时提出了自适应特征池,它将特征网格和所有特征层连接起来,使每个特征层中的有用信息直接传播到下面的建议子网中。为每个提议创建一个互补的分支,捕获不同的视图,以进一步改进掩码预测。这些改进很容易实现,但有细微的额外计算开销。
2.2、介绍
①、探索与发现
本文研究表明,Mask R-CNN的信息传播可以进一步改善。具体来说,低级别的特性有助于识别大型实例。但是,从低级结构到最高级特征有很长的路径,增加了获取准确定位信息的难度。此外,每个提议都是基于一个特性层预测的,这是启发式分配的。这个过程可以进行更新,因为在其他层次丢弃的信息可能有助于最终的预测。最后,掩模预测是在单一视图下进行的,失去了收集更多信息的机会。
解读:
MaskRcnn存在一定问题:
1、高级特征的特征图与精准定位存在一定的矛盾。
2、生成提议过于片面,没考虑多层的信息。
3、mask掩码的生成也没考虑多种视图,会有信息丢失。
②、进行改进
首先,为了利用低层存在的精确定位信号缩短信息路径,增强特征金字塔,建立自底向上的路径增强方法;事实上,低层的特征在一些论文的系统中得到了利用。但目前还没有研究通过传播低级特征来增强整个特征层次结构。
其次,为了恢复每个提议和所有特征级别之间的破损信息路径,我们开发了自适应特征池。它是一个简单的组件,用于为每个提案聚合来自所有特性级别的特性,避免任意分配结果。
最后,为了捕获每个提议的不同观点,我们使用微小全连接(fc)层来增加掩码预测,这与mask R-CNN最初使用的FCN具有互补的特性。通过融合来自这两种观点的预测,信息多样性增加,并生产出质量更好的Mask。前两个组件由对象检测和实例分割共享,从而大大提高了两个任务的性能。
解读:
提到改进,那就必须要配合上MaskRcnn的网络架构和PANet的网络架构进行对比分析,请往下看PANet的网络架构。
2.3、网络架构
下图为PANet的网络架构,其中(a)是FPN骨架,(b)是自下而上路径扩展,©是自适应特征池化,(d)是分类box分支,(e)是全融合。如下图,第一张为PANet网络结构,第二张为MaskRcnn的网络架构。
2.4、改进与创新
改进和创新就如上所述,如果简化成一个图的话大致如下:
2.5、实验结果
比较了2016实例分割挑战赛的冠军,RentinaNet还有MaskRcnn,MaskRcnn比较了ResNet-50,ResNet-101和ResNeXt101三种骨架,指标为AP值,AP50,AP75(指的是取detector的IoU阈值大于0.5,大于0.75),PANet采用ResNet-101时明显是最优的。APs,APm,APl分别代表小物体,中等物体和大物体。
2.6、使用的数据集
COCO2017数据集、Cityscapes数据集和MVD数据集。
三、总结与思考
这篇文章确实对MaskRcnn进行了较好的修改,而且获得了比较大的成果,其提出的多金字塔方法有点新意,融合不同层的特征也做得比较好,学到的东西还是蛮多的,踩在巨人肩膀上也能获得非凡成就,不过我感觉创新点还是缺了那么一点点,是在MaskRcnn基础上改的,而且很多方法已经出现于别人的论文当中,只是拿过来使用而已,还得继续努力,向大佬们学习。
实例分割中提高AP的方法: