Mask Scoring RCNN论文翻译记录

Mask scoring rcnn翻译@TOC
仅仅作为翻译记录。如有参考，不当之处请见谅。

摘要
让一个深度网络意识到自己预测的质量是一个有趣但重要的问题。在实例分割任务中，大多数实例分割框架都使用实例分类的置信度作为掩码质量分数。然而，将掩码质量量化为实例掩码与其ground truth之间的IoU，通常与分类分数的相关性并不好。在本文中，我们研究了这个问题，并提出了包含网络块的掩码评分R-CNN来学习预测实例掩码的质量。提出的网络块结合实例特征和相应的预测掩码，对掩码IoU进行回溯。掩码评分策略校准掩码质量和掩码评分之间的不一致，并通过在COCO AP评估期间优先考虑更准确的掩码预测来提高实例分割性能。通过对COCO数据集的广泛评估，掩模评分R-CNN在不同模型下获得一致且显著的增益，并优于最先进的掩模RCNN。我们希望我们的简单有效的方法将为改进实例分割提供一个新的方向。我们方法的源代码在 https:/github.com/zjhuang22/maskscoring_rcnn上找到.
1. 介绍
深度网络极大地推动了计算机视觉的发展，导致了分类[22、16、35]、目标检测[12、17、32、27、33、34]、语义分割[28、4、37、18]等一系列任务的最新进展。从计算机视觉深度学习的发展可以看出，深度网络的能力正在逐步从图像级预测[22]提升到区域/盒级预测[12]、像素级预测[28]和实例/掩码级预测[15]。进行细粒度预测的能力不仅需要更详细的标签，还需要更精细的网络设计。
在本文中，我们重点研究了实例分割问题，这是目标检测的一个自然的下一步，从粗糙的盒子级实例识别到精确的像素级分类。具体来说，本文提出了一种对实例分割假设进行评分的新方法，对实例分割评价具有重要意义。原因在于大多数评价指标是根据假设得分来定义的，更精确的分数有助于更好地描述模型性能。例如，对于具有挑战性的实例分割数据集COCO[26]，通常使用精度回忆曲线和平均精度(AP)。如果一个实例分割假设得分不正确，可能会被错误地认为是假阳性或假阴性，导致AP下降。
然 而，在大多数实例分割管道中，例如Mask R-CNN[15]和MaskLab[3]，实例掩码的得分与box-level分类置信度共享，该置信度由应用于proposal feature的分类器预测。使用分类置信度来度量掩码质量是合适的，因为它只用于区分提案的语义类别，并不知道实例掩码的实际质量和完整性。分类置信度与掩码质量的偏差如图1所示，其中实例分割假设得到了准确的box-level定位结果和较高的分类分值，但对应的掩码不准确。显然，使用这样的分类评分对掩模进行评分会降低评价结果。
与以前的方法不同，我们的方法旨在获得更精确的实例定位或分割掩码，我们的方法侧重于对掩码进行评分。为了实现这个目标，我们的模型学习每个掩码的分数，而不是使用它的分类分数。为了清晰起见，我们将学习分数称为蒙版分数。
受实例分割AP度量的启发，我们提出了一种直接学习IoU的网络方法。本文将IOU表示为Mask IOU。一旦我们在测试阶段得到了预测的MaskIoU，通过将预测的MaskIoU与分类分数相乘，重新评估掩模评分。因此，掩码评分既知道语义类别，也知道实例掩码的完整性。
学习Mask IoU不同于目标分类或掩码预测，它需要将预测掩码与目标特征进行“比较”。在Mask RCNN框架下，我们实现了一个名为MaskIoU head的MaskIoU预测网络。它将mask head的输出和RoI特征作为输入，并使用简单的回归损失进行训练。我们将提出的模型命名为带掩模IoU头的掩模评分R-CNN (MS R-CNN)。使用我们的MS R-CNN进行了大量的实验，结果表明，由于掩模质量和分数之间的一致性，我们的方法提供了一致和显著的性能改进。
总而言之，这项工作的主要贡献突出如下:1. 我们提出了掩模评分R-CNN，这是第一个解决评分实例分割假设问题的框架。为提高实例分割模型的性能开辟了新的方向。考虑到实例掩码的完整性，如果实例掩码的分类分数高，