Mask R-CNN详解

Mask R-CNN是一个实例分割（Instance segmentation）算法，主要是在目标检测的基础上再进行分割。Mask R-CNN算法主要是Faster R-CNN+FCN，更具体一点就是ResNeXt+RPN+RoI Align+Fast R-CNN+FCN，如下图所示：

Mask R-CNN的创新点有：

• 1 .Backbone：ResNeXt-101+FPN
• 2. RoI Align替换RoI Pooling

Mask R-CNN算法步骤：
1.输入一张图片，进行数据预处理（尺寸，归一化等等）
2.将处理好的图片传入预训练的神经网络中(ResNet等，优秀的主干特征提取网络)获得相应的feature map。
3.通过feature map中的每一点设定ROI，获得多个ROI候选框
4.对这些多个ROI候选框送到RPN中进行二值分类（前景或后景）和BB回归(Bounding-box regression),过滤掉一部分候选的ROI。
5.对剩下的ROI进行ROI Align操作（即先将原图和feature map的pixel对应起来，然后将feature map和固定的feature对应起来）
6.对这些ROI进行分类（N类别分类），BB回归和Mask生成（在每一个ROI里面进行FCN操作）。

RoI Pooling和RoI Align有哪些不同？

• RoI Pooling：

  • RoI Pooling 是一种粗略的方法，它将 RoI 区域划分成固定大小的网格，然后在每个网格上执行最大池化操作以获得固定大小的特征表示。这意味着在不同大小和比例的 RoI 上使用时可能会导致信息丢失或者不准确的特征。

• RoI Align：

  • RoI Align 是 RoI Pooling 的改进版本，它解决了 RoI Pooling 中可能导致的信息损失问题。RoI Align 考虑了 RoI 区域内的像素精确度，并且通过在特征图上的每个 RoI 区域内的位置进行双线性插值，使得提取的特征更加准确。这样可以避免信息损失，并提高了模型的准确性。

总的来说，RoI Align 相对于 RoI Pooling 在精确度上更优，尤其是在需要处理小尺寸 RoI 或需要更精确特征表示的任务中。