[Paper Reading Note]Mask Scoring R-CNN

Paper Reading Note

URL: https://arxiv.org/pdf/1903.00241.pdf

TL;DR

---

之前在实例分割任务中，通常是使用分类的分数作为mask的分数，然而实际上mask的真实分数（预测mask与gt的IoU）与分类分数不能很好的关联，因此，本论文在Mask R-CNN的基础上，加入一条分支，使用预测出的mask和原始输入特征共同mask的IoU，以解决mask质量和mask score不对齐的问题，进而提高实例分割的效果

Dataset/Algorithm/Model/Experiment Detail

如图1所示，Mask R-CNN中，分类得分和预测的mask存在不对齐的问题，一些分类分数高的case中，其mask的质量其实并不好，而论文提出的MS R-CNN则能缓解这一问题

另外，作者通过实验验证了Mask R-CNN的分类score和Mask IoU的关联性确实不强，如图2(a)所示。论文提出的MS R-CNN则能做到更好的关联性，如图2(b)所示，另外，如图2©所示，从Mask IoU的分布上来看，MS R-CNN的效果也更好

论文中提出的Mask Scoring R-CNN如图3所示，和Mask R-CNN最主要的区别在于加入了一条用于预测MaskIoU的head，这部分的输入是RoIAlign后用于预测mask的feature map以及预测出的mask两者concat得到的。
训练时，首先得到预测的mask，并使用与GT的IoU是否大于0.5为条件进行过滤。过滤后，使用L2 loss对预测出的mask到GT target进行回归，预测时将MaskIoU与cls score二者相乘得到最终的mask score。

表1和表2分别是在不同的backbone和framework上加入MS R-CNN后带来的提升，可以看到，在实力分割任务上的提点还是比较明显的，但在检测上的涨点比较微小

在COCO 2017对比Mask R-CNN等模型的结果，在不同backbone上均稳定涨点

Thoughts

与IoU-Net的思路类似，通过多出一个分支来预测mask的IoU，缓解了cls score和实际mask质量不一致的问题，这种解决问题的思路是很值得借鉴的