读Mask Scoring RCNN 随笔

今天读了2019年CVPR oral Mask SCoring R-CNN,有一些感想。

https://arxiv.org/abs/1903.00241

2019-12-22

mask scoring rcnn相比mask rcnn改动不多，主要是在mask branch上加入了一个回归预测MaskIoU的小结构，也就是下图中的蓝色结构。输出是一个类别个数（coco数据集的话就是80）长度的向量，其中值表示当前分类maskIOU的值，值越大表示在该类别的前提下，mask branch 预测出来的mask与gt越接近。理想情况下,在给定候选区域框的类别位置上值为1，其他部分为0。

对于我一直在意的为什么加入这个结构mask的效果会变好呢？

mask scoring rcnn的改进：在计算候选框的置信时mask rcnn采用的是对于 分类得分，而 mask scoring rcnn采用的是分类*MaskIOU的得分，msrcnn在进行nms(非极大值抑制)时也考虑了mask的结果，也就是mask和分类的置信，所以使得整个模型取得比mask rcnn更好的效果。