arxiv 2017/3/20 KaiMing He & Rbg
1.Contribution
- Propose a general instance segmentation method called Mask-RCNN, which extends Faster R-CNN by adding a branch for predicting an object mask in parallel with the existing branch for bounding box recognition
- performance: 5帧/秒 state-of-art in instance segmentation
2.Introduction
Mask RCNN是在faster rcnn的基础上,加上了一个mask branch,对于经过RPN得到的一个proposal,假设经过ROI pooling之后得到m*m固定大小的feature map,一方面通过detection得到这个proposal的类别和坐标回归。另一方面通过mask branch得到对这个ROI的分割结果。假设数据集一共有K个类,那么mask的输出就是K个channel的binary score map。mask branch对于每一个类独立预测这个类的binary mask,而不是所有的类一起预测一个score map。这样,就把segmentation和classification分开来了。classification专门由detection部分的cls去做,mask branch只需要预测前景就行。
训练的时候在instance segmentation数据集上面,既有mask label也有detection label。定义loss是一个multi-task loss = los