【论文学习】Mask Scoring R-CNN

参考：

https://www.cnblogs.com/wemo/p/10505970.html（为主，说的比较好）

https://blog.csdn.net/m0_38007695/article/details/88256702

这篇论文在COCO图像实例分割任务上超越了何恺明的Mask R-CNN，并且是今年顶会CVPR 的口头报告。并且作者测试的时间开销没有增加太多。框架图示如下：

可以看到框架主要是增加了MaskIou Head部分。

1. 原因：

现在大多数把分类的置信度被当作mask的质量衡量指标，使用分类置信度来度量Mask质量其实可能不太好，mask的质量和分类的质量其实没有很强的相关性，因为它只用于区分proposal的语义类别，而不知道实例Mask（pixel层面的）的实际质量和完整性。那么这原来的打分规则可能会出现假阳性或假阴性，从而导致平均精确度的减少。如图1

图1（原来打分方式和新的打分方式对比）边界框与 ground truth高度重叠，分类得分较高，但mask不够好。

引用大神的图:

1. 怎么做：

①增加了一个MaskIoU head，来计算预测mask和ground truth mask的iou的分数。

②根据分类得分和iou分数来计算最后的mask score（如果分类得分高，但mask iou分数低，则会惩罚最后得到的mask score）。

这篇论文设计了一个新的打分方法：不仅仅像大多数计分方式一样直接依靠检测得到的分类算分，而且还让模型单独学一个针对mask的得分规则：MaskIoU head。网络模块MaskIoU head把Mask Head的输出(预测)与pooling后的ROI的特征（Region of Interest）作为该分支的输入，去回归mask IOU。

 

使用max pooling让预测掩码与RoI feature具有相同空间大小；MaskIoU Head包含4个卷积层和3个全连接层。

另外mask score计算如下：

其中是RCNN Head直接获得的分类得分。是MaskIoU Head回归得来的。

对于ground truth类，我们只选择返回MaskIoU(对于测试，我们选择预测的类)，而不是所有的类。
增加了一个MaskIoU head，来计算预测mask和ground truth mask的iou的分数
根据分类得分和iou分数来计算最后的mask score（如果分类得分高，但mask iou分数低，则会惩罚最后得到的mask score）
Mask R-CNN的mask的分数是和预测的box的置信度共享的

训练

使用RPN proposals作为训练样本，训练样本要求proposal box与匹配的ground truth的IOU大于0.5。box分支和mask保持不变，为了产生回归目标，我们得到该目标类的预测掩码mask并将掩码二值化(使用0.5的阈值)。

然后输入二值化的mask，以相应的ground truth作为回归目标（再计算binary mask和gt的IoU作为target），使用L2 loss进行MaskIOU回归。损失权重设为1，3个分支同时end-to-end训练。

具体来说：假设掩Mask R-CNN的R-CNN阶段输出N个边框框，其中选取Soft NMS后的top-k(即k = 100)计分框。然后将前k个盒送入Mask Head，生成多类mask，这是标准的Mask R-CNN推断过程。我们也遵循这个过程，并输入top-k目标掩码来预测MaskIoU。将预测的MaskIoU与分类分数相乘，得到新的校准掩模分数作为最终掩模的可信度。

也就是

前向传播
只使用MaskIoU校准从RCNN生成的分类分数，取其前k(100)个分数框，送入mask分支，得到mask预测结果，再把RoI feature map和mask预测结果送入MaskIoU Head分支得到mask iou。
将预测的MaskIoU和分类分数classification score相乘得到校准后的mask score。