论文:https://arxiv.org/abs/1703.06870.
代码:
https://github.com/facebookresearch/Detectron
Mask RCNN in TensorFlow:
https://github.com/CharlesShang/FastMaskRCNN
Python 3, Keras, and TensorFlow:
pytorch:https://github.com/facebookresearch/detectron2
该方法有效地检测图像中的对象,同时为每个实例生成高质量的分割蒙版。该方法称为“遮罩R-CNN”,它通过与现有的用于边界框识别的分支并行添加一个用于预测对象遮罩的分支,从而扩展了Faster R-CNN。掩码R-CNN易于训练,并且以5 fps的速度运行时,对Faster R-CNN的添加只增加了很小的开销。
在COCO测试集上Mask R-CNN结果。 这些结果基于ResNet-101 [19],实现了35.7的掩码AP,并以5 fps的速度运行。 蒙版显示为彩色,还显示边界框,类别和置信度。
- 遍历每一个候选区域,保持浮点数边界不做量化。
- 将候选区域分割成k x k个单元,每个单元的边界也不做量化。
- 在每个单元中计算固定四个坐标位置,用双线性内插的方法计算出这四个位置的值,然后进行最大池化操作。
网络体系结构:为了演示我们方法的通用性,我们实例化具有多种体系结构的Mask R-CNN。为了清楚起见,我们区分为:
(i)用于整个图像特征提取的卷积主干架构
(ii)用于边界框识别(分类和回归)和蒙版预测的网络头,分别应用于每个感兴趣区域。