S4Net: Single Stage Salient-Instance Segmentation阅读笔记

论文链接：http://arxiv.org/abs/1711.07618

简介

文章关注显著实例分割。考虑到每个实例类的独立性，文章设计了一个单阶段显著实例分割网络，该网络不仅考虑了box框内的local context信息，同时考虑了其周围的context信息，使得该网络能够将相同范围内的即便有遮挡的实例从容分开。除此之外，文章网络的图片处理速度也很快，当输入图片是320*320时，单gpu上能达到40fps。

1.引言

人们往往关注较为感兴趣的实例类，而不是所有的实例。定位感兴趣的对象对于各种计算机图形和计算机视觉应用也是必不可少的，它能帮助很多现代应用如图像编辑和机器人感知提供初始兴趣区域。该文章研究对输入图片检测显著实例，神经学研究预测人类对高对比度的刺激具有较强感知，如前背景的特征分离对显著实例感知就很重要，在CNN出现之前，使用局部和全局的差异、背景先验和高斯混合色彩模型来对前背景分离做建模能够有效的实现传统显著物体分割任务。CNN出现后，表现优异，它能够学习到捕捉目标类别的不同抽象外观变化所需要的多层级特征表示，但是他CNN通常忽略了重要的在目标物体和附近背景间的特征分离能力。

现有的实例分割往往应用ROIpooling、ROIAlign等捕捉包围框内的特征信息，与之相反，文章提出了一个区域特征抽取层，命名为ROIMasking，直接为提升显著实例分割纳入了前背景分离信息。与图底分割方法GrabCut相同，文章直接将物体提议周围的区域作为初始背景，并在显著实例分割分支中探索前背景的特征分离信息。更明确的，文章翻转提议物体周围的特征值的信号。之后将基于ROIMasking层的分割分支整合到高效的单阶段物体检测FPN中，以为每个显著实例检测像素级的分割结果。文章提出的RoIMasking方案是无量化和保持规模的，这能检测到更多细节信息。
总而言之，文章的贡献主要有以下两点：
（1）提出端到端单阶段的显著实例分割网络，实时检测并达到了显著实例分割的最好性能。
（2）设计了一个新的ROIMasking层，引入了目标物体和周围背景间的特征分离信息，有助于高质量的分割。

2.相关工作

显著实例分割相对来说是一个新的任务，Li在文章[1]中对显著实例分割进行了正式定义，并提出了用于此的网络MSRNet。然而，这个方法高度依赖预计算边缘图（如MCG[2]）和为复杂实际场景生成的子优化结果。显著实例分割和显著物体检测、物体检测、语义实例分割密切相关。

2.1显著物体检测

显著物体检测目的在于检测到嘴显著的物体并将他们从给定场景中分割出来。早期的显著物体检测主要依赖于全局或者局部的差别线索[2]。他们为每个区域制作了各种手工制作的特征（如色彩直方图和纹理），并将这些特征于人工设计或基于学习的方法间混合。由于他们较弱的保留完整显著实例的能力和手工特征的不稳定性，这些方法见见被基于CNN的数据驱动的方法替代[3]。但当使用到显著实例分割上时，主要问题有两个：首先，由于显著区域可能是兴趣实例的一部分，整体的显著实例很难被保留；其次，显著物体检测时二元问题，不足以做到实例级的分割。

2.2物体检测

早期的物体检测方法主要依赖于手工设计的特征（如SIFT[4]、SURF[5]和HOG[6]）。他们创建了不同类型的图像金字塔以从不同图像规模中提取更多信息。随着CNNs的出现，R-CNN[7]和Over-Feat[8]将CNNs作为抽取高质量语义信息的滑动检测窗口。给定了一些预计算的提议区域，这些方法会使用CNN为每个提议区域计算他们的特征向量并且将这些特征传至分类器，对物体进行分类。后续的工作将整张图作为输入并使用了基于区域的特征图检测器，很大程度上提升了运行速度。Faster-RCNN[9]将区域提议网络（RPN）引进了CNN，打破了使用预计算提议的限制。这样依赖，整个网络可被端到端的训练，相较之前提供一个更好的精度和速度间的平衡。然而，以上所有的方法目的在于输出可信的物体检测框，而不是输出实例分割结果。

2.3语义实例分割

之前的语义实例分割方法主要基于分割方法生成的分割提议。在文章[10]中，Dai提出通过使用一个多阶段层叠预测分割提议，从而从包围框处慢慢细化长方形区域。在文章[11]中，Li提出将分割提议网络整合到物体检测网络中。更近的，何凯明提出Mask R-CNN