Mask R-CNN（RoIAlign）论文阅读笔记

Mask R-CNN论文阅读笔记2017

Abstract

我们针对目标实例分割提出了一个概念简单、灵活的通用框架。我们的方法可以有效监测图像中的目标，同时对每个目标实例生成一个高质量的分割掩膜。**我们的方法叫做Mask R-CNN，它将Faster R-CNN扩展，与现有的bbox识别分支平行，添加了一个分支来预测目标的掩膜。**Mask R-CNN很容易训练，对于Faster R-CNN只增加了一些计算，可以达到5fps。而且，它非常容易移植到其他任务上，比如在同一个框架下进行位姿估计。我们在COCO的三项中都取得了top成绩，分别是实例分割、bbox目标检测以及人的关键点检测。没有使用其他tricks，Mask R-CNN在每项任务都超过了所有现存的单模型。我们希望我们这种简单有效的方法可以作为baseline，来帮助实例等级的识别任务。

1. Introduction

最近短期时间内，目标检测和语义分割等视觉任务的结果在快速提升。大的方面，这些提升得益于更有力的baseline，比如Faster R-CNN和FCN框架。这些方法在概念上都很直观，并提供了灵活性和鲁棒性，同时有比较快的训练和测试时间。本文的目标是提出一个与之相比的实例分割框架。

实例分割任务是很有挑战的因为它需要对图像中所有目标进行正确检测，同时准确地分割每个实例。**因此，它组合了传统的目标检测任务（目标是使用bbox定位每个目标）和语义分割任务（目标是对每个像素进行分类，不需要区分目标个体）。**既然如此，可能有人认为需要一个复杂的方法才可以达到很好的效果，然而，我们使用一个简单、灵活、快速的系统就可以超过之前的SOTA实例分割结果。

我们的方法，Mask R-CNN，将Faster R-CNN扩展，增加了一个分支来在每个RoI上预测分割掩模令这个分支与原来的分类和bbox回归分支是平行的，见图1。

mask分支是一个小的FCN，应用在每个RoI上，逐像素预测分割的掩模。Mask R-CNN可以很简单应用在Faster R-CNN框架上，并进行训练，这有助于多种灵活的网络结构设计。另外，mask分支值增加了很少的计算量，这使得系统仍是快速的。

原则上来说，Mask R-CNN是对Faster R-CNN的一种扩展，然而正确地构建mask分支是至关重要的。**更重要的是，Faster R-CNN设计中没有对网络的输入和输出进行逐像素的对齐（alignment）。**在使用RoI池化用于实例分割时，RoI用于特征提取，对空间信息进行了粗糙的量化，这对于实例分割就出现了问题。**为了解决不对准的问题，我们提出一个简单的、无量化的层，叫做RoIAlign，可以保留准确的空间位置。**尽管看起来只是一个微小的改变，RoIAlign有着很大的影响：它将mask的准确率相对提升了10%-50%，在更严格的定位尺度下，提升更大。==第二，我们发现将mask和class的预测分离也是很关键的，我们对每个class单独的预测一个二值mask，而没有在类之间竞争，使用RoI的分类网络来预测类别。==相反FCN使用逐像素的多分类，将分割和分类组合，这种方法效果较差。

不加其他东西，我们的Mask R-CNN在COCO实例分割任务上超过了所有SOTA单模型效果。作为副产物，我们同样在COCO目标检测任务上取得很好效果。

我们的模型在GPU上每帧图像处理需要200ms。我们相信，快的训练和测试速度，以及网络的灵活性和准确性，会帮助简化将来实例分割的研究。

最后，我们使用COCO的关键点数据集， 通过位姿检测任务来展示我们框架的概括能力。将每个关键点看成一个one-hot二分类mask，对Mask R-CNN进行一点修改，就可以应用到位姿检测。不使用tricks，Mask R-CNN超过了2016 COCO比赛的冠军，且仍可以达到5fps。

2. Related Work