Mask Rcnn

简介

论文地址：Mask R-CNN 
源代码：matterport - github

代码源于matterport的工作组，可以在github上fork它们组的工作。

https://baijiahao.baidu.com/s?id=1595621180643410921&wfr=spider&for=pc

 

软件必备

复现的Mask R-CNN是基于Python3，Keras，TensorFlow。

• Python 3.4+
• TensorFlow 1.3+
• Keras 2.0.8+
• Jupyter Notebook
• Numpy, skimage, scipy

建议配置一个高版本的Anaconda3+TensorFlow-GPU版本。

Mask R-CNN论文回顾

mask rcnn是何凯明基于以往的faster rcnn架构提出的新的卷积网络，一举完成了object instance segmentation. 该方法在有效地目标的同时完成了高质量的语义分割。 文章的主要思路就是把原有的Faster-RCNN进行扩展，添加一个分支使用现有的检测对目标进行并行预测。同时，这个网络结构比较容易实现和训练，速度5fps也算比较快点，可以很方便的应用到其他的领域，像目标检测，分割，和人物关键点检测等。并且比着现有的算法效果都要好，在后面的实验结果部分有展示出来。

从上面可以知道，mask rcnn主要的贡献在于如下： 
1. 强化的基础网络：通过 ResNeXt-101+FPN 用作特征提取网络，达到 state-of-the-art 的效果。 
2. ROIAlign解决Misalignment 的问题 
3. Loss Function

细节描述

Mask R-CNN(简称MRCNN)是基于R-CNN系列、FPN、FCIS等工作之上的，MRCNN的思路很简洁：Faster R-CNN针对每个候选区域有两个输出：种类标签和bbox的偏移量。那么MRCNN就在Faster R-CNN的基础上通过增加一个分支进而再增加一个输出，即物体掩膜(object mask)。

先回顾一下Faster R-CNN， Faster R-CNN主要由两个阶段组成：区域候选网络(Region Proposal Network,RPN)和基础的Fast R-CNN模型。

2）RPN用于产生候选区域 

2）Fast R-CNN通过RoIPool层对每个候选区域提取特征，从而实现目标分类和bbox回归 

3)MRCNN采用和Faster R-CNN相同的两个阶段，具有相同的第一层(即RPN)，第二阶段，除了预测种类和bbox回归，并且并行的对每个RoI预测了对应的二值掩膜(binary mask)。示意图如下：

 

这样做可以将整个任务简化为mulit-stage pipeline，解耦了多个子任务的关系，现阶段来看，这样做好处颇多

主要工作

1. resnet +FPN

作者替换了在faster rcnn中使用的vgg网络，转而使用特征表达能力更强的