《Mask Scoring R-CNN》论文翻译

摘要：
让深度网络意识到自己预测的质量是一个有趣但重要的问题。在实例分割的任务中，实例分类的置信度被用作大多数实例分割框架中的掩模质量分数。然而，掩模质量（量化为实例掩模与其基础事实之间的IoU）通常与分类得分没有很好的相关性。在本文中，我们研究了这个问题，并提出了Mask Scoring R-CNN，它包含一个网络块来学习预测实例掩码的质量。所提出的网络块将实例特征和对应的预测掩模一起用于对掩模IoU进行回归。掩模评分策略校准掩模质量和掩模评分之间的未对准，并通过在COCO AP评估期间优先化更准确的掩模预测来改善实例分割性能。通过对COCO数据集的广泛评估，Mask Scoring R-CNN为不同的模型带来了一致且显着的增益，并且优于最先进的Mask R-CNN。我们希望我们简单有效的方法将为改进实例细分提供新的方向。方法源代码地址https://github.com/zjhuang22/maskscoring_rcnn。

1、简介

深度网络正在极大地推动计算机视觉的发展，导致一系列最先进的任务，包括分类，对象检测，语义分割等。从计算机视觉深度学习的发展，我们可以观察到深度网络正逐渐从图像级预测到区域/盒级预测，像素级预测和实例/掩模级预测逐渐增长。进行细粒度预测的能力不仅需要更详细的标签，还需要更精细的网络设计。
在本文中，我们关注实例分割的问题，这是对象检测的自然下一步，从粗略的盒级实例识别转移到精确的像素级分类。具体来说，这项工作提出了一种新的方法来对实例分割假设进行评分，这对于例如分割评估非常重要。原因在于大多数评估指标是根据假设得分定义的，更精确的得分有助于更好地表征模型性能。例如，精确召回（P-R）曲线和平均精度（AP）通常用于具有挑战性的实例分割数据集COCO。如果一个实例分割假设未被正确评分，则可能被错误地视为假阳性或假阴性，导致AP减少。
但是，在大多数实例分割管道中，例如Mask R-CNN和MaskLab，实例掩码的分数与盒级分类置信度共享，这是由应用于提议特征的分类器预测的。 使用分类置信度来测量掩模质量是不合适的，因为它仅用于区分提议的语义类别，并且不知道实例掩码的实际质量和完整性。 分类置信度和掩模质量之间的不对准在图1中示出，其中实例分割假设获得准确的盒级定位结果和高分类分数，但是相应的掩模是不准确的。 显然，使用这种分类分数对掩模进行评分往往会降低评估结果。

图1：实例分割的示例性案例，其中边界框与地面实况具有高重叠并且在掩模不够好的 情况下具有高分类分数。Mask R-CNN和我们提出的MS R-CNN预测的分数被附加在它们相应的边界框上方。左侧四幅图像显示出良好的检测结果，具有高分类分数但掩模质量低。我们的方法旨在解决这个问题。最右边的图像显示了具有高分类分数的良好掩模的情况。我们的方法将重新训练高分。可以看出，我们模型预测的分数可以更好地解释实际的面罩质量。
与之前旨在获得更准确的实例定位或分割掩膜的方法不同，我们的方法侧重于对掩膜进行评分。为了实现这一目标，我们的模型学习每个掩膜的分数而不是使用其分类分数。为清楚起见，我们称学习得分为掩码得分。
受实例分割的AP度量的启发，该实例分割使用预测掩模与其地面实况掩模之间的像素级交叉联盟（IoU）来描述实例分割质量，我们建议网络直接学习IoU。 在本文中，该IoU表示为MaskIoU。 一旦我们在测试阶段获得预测的MaskIoU，则通过将预测的MaskIoU和分类得分相乘来重新评估掩模得分。 因此，掩码分数知道语义类别和实例掩码完整性。
学习MaskIoU与提案分类或掩码预测完全不同，因为它需要“比较”预测的掩码和对象特征。在Mask RCNN框架内，我们实现了一个名为MaskIoU head的MaskIoU预测网络。 它将掩模头的输出和RoI特征作为输入，并使用简单的回归损失进行训练。 我们将所提出的模型，即具有MaskIoU头的Mask R-CNN命名为Mask Scoring R-CNN（MS R-CNN）。我们已经对我们的MS R-CNN进行了大量实验，结果表明我们的方法提供了一致且显着的性能改善，这归因于掩模质量和得分之间的一致性。
总之，这项工作的主要贡献如下：
1.我们提出了Mask Scoring R-CNN，这是解决实例分割假设评分问题的第一个框架。 它探讨了提高实例分割模型性能的新方向。考虑到实例掩码的完整性，如果掩码不够好但是实例掩码的分数很高，则可能会受到惩罚。
2.我们的MaskIoU head非常简单有效。 在具有挑战性的COCO基准测试中的实验结果表明，当使用来自我们的MS R-CNN的掩模得分而不仅仅是分类置信度时，AP在各种骨干网络上始终如一地提高约1.5％。
2、相关工作
2.1