Boundary-aware Instance Segmentation 阅读笔记

论文链接：https://arxiv.org/abs/1612.03129

简介

文章方法基于物体掩模的距离变换。
文章设计了一个具有残差反卷积结构的物体掩模网络（OMN），提取特征并将其解码成最终的二值物体掩模。优点：这种方法能摆脱传统区域提议中提议框的范围局限，并且对于不够准确的区域提议具有鲁棒性。
文章将OMN整合到多任务网络级联框架中，称之为边界感知实例分割网络（BAIS），并实行端到端地学习。
文章方法在Cityscapes和PASCAL VOC2012数据集上的实例分割性能都超过了当时的最佳方法。

一、相关工作

实例分割能够提供图像中实例的数量、位置、类别、形状信息，在自动驾驶，个人机器人，植物分析等领域有广泛应用。常用实例分割方法：

（1）基于区域提议的方法

[1]中使用了Fast-RCNN的提议框[2]并建立了multi-stage管道用于抽取特征、分类和分割物体。通过开发Hypercolumn功能[3]以及使用全卷积网络（FCN）来编码特定类别的形状先验[4]，改进了这一框架。在[5]中，[6]的区域提议网络（RPN）被集成到多任务网络级联（MNC）中执行语义分割。
缺点：这些方法都受到以下事实的影响：它们仅预测提议边界框内的二值掩模，这样通常是不准确的。

（2）避开区域提议的方法

PFN[7]通过预测实例数目，对每个像素预测类别标签和其包围框位置。
缺点：效果强依赖于预测的实例数目。
[8]提出根据深度排序识别实例，[9]使用一个深度密集连接的马尔科夫随机场对其进行扩展。
缺点：目前还不清楚这种方法如何处理多个实例处于大致相同深度的情况。
为了克服上述缺点，[10]使用FCN同时预测深度、语义和实例方向编码，然后将其通过模式匹配过程产生实例。
缺点：这个过程包含许多独立模块，无法一同进行优化， 所以产生的结果往往非最佳。
最后，在[11]中，提出了一种递归神经网络来逐个分割图像。然而，这种方法基本上假设图像中观察到的所有实例属于同一类。

（3）类不可知的区域提议方法

[12]中提出的方法，使用FCN计算组合成实例分割提议的一小部分实例感知得分图，该方法被加入到MNC中后能有效提升实例分割效果。

二、文章方法

文章提出了对边界框提议中的错误具有鲁棒性的实例分割的方法，为此，文章提出使用密集多值图编码建模物体形状。通过反向距离转换，将多值图转换成二值掩模，得到实例分割结果[13][14]。示例如图1所示。

由图1看出，文章方法实现的实例掩模可以超越边界框的局限。

文章设计了物体掩模网络（OMN），对每个提议区域，首先预测对应像素级多值图，并将其解码成最终的二值掩模，其中一些二值掩模会超过包围框的限制。将截短距离离散化，并用二值向量进行编码。这将预测多值图转换成了像素级标注让任务。网络的第一个模块生成多概率图，每个都表示该向量中一个特定位的激活。然后将概率图传入一个新的残差反卷积网络模块产生最终的二值掩模。由于这个反卷积模块，输出的分割实例不会严格局限在提议框内，从而使OMN大为不同。

为了解决实例分割，文章将OMN整合到多任务级联结构[5]中，用OMN替换原先的二值掩模预测模块。将文章提出的模型称为边界感知实例分割（BAIS）网络。

三、边界感知分割预测

文章