边界IoU:改进以对象为中心的图像分割评价

我们提出了一种新的基于边界质量的分割评价方法——边界交-并。我们对不同的错误类型和对象大小进行了广泛的分析，结果表明，对于较大的对象，边界IoU比标准的掩码IoU测量对边界错误更加敏感，并且不会过度惩罚较小对象的错误。新的质量度量显示了几个令人满意的特征，如对称的w.r.t .预测/基本真理对和跨尺度的平衡响应，这使得它比其他边界聚焦度量更适合于分割评估。基于边界IoU，我们通过分别提出边界AP(平均精度)和边界PQ(全景质量)度量来更新实例和全景分割任务的标准评估协议。我们的实验表明，新的评估指标跟踪边界质量的改进，而这些改进通常被当前基于MaskIoU的贬值指标所忽略。我们希望新的边界敏感评价指标的选择将导致提高边界质量的分割方法的快速进展。

通用任务框架[27]使用标准化任务、数据集和评估指标来跟踪研究进展，产生了令人印象深刻的结果。例如，从事实例分割任务的研究人员需要一种算法来用像素级二进制掩码描绘对象，从2015年[12]到2019年[24]，他们将COCO [28]的标准平均精度(AP)指标提高了惊人的86%(相对)。

然而，这种进展在所有错误模式中并不相等，因为不同的评估指标对不同类型的错误敏感(或不敏感)。如果长时间使用某个指标，如在通用任务框架中，那么相应的子字段最快速地解决该度量敏感的错误类型。改善其他错误类型的研究方向通常进展更慢，因为这种进展更难量化。

这种现象在实例分割中发挥了作用，在众多论文中，有86%的论文在应用程序方面取得了令人印象深刻的相对改进(例如[41，4，1，19，25])，但只有少数论文的地址掩码边界质量有所提高。

请注意，遮罩边界质量是图像分割的一个重要方面，因为各种下游应用直接受益于更精确的对象分割[39，33，34]。然而，基于掩模的方法[17]的主要家族是众所周知的预测低保真度、斑点掩模的方法(见图1)。这一观察表明，当前的评估指标可能对物体边界附近的掩蔽预测误差具有有限的敏感性。

为了理解为什么，我们从分析掩码交集-并集(掩码IoU)开始，它是底层的测量在应用程序中用来比较预测和地面真相面具。遮罩IoU将两个遮罩的相交区域除以它们的并集区域。这种度量对所有像素的值都是相等的，因此对较大对象的边界质量不太敏感:内部像素的数量在对象大小上呈二次增长，并且可以远远超过边界像素的数量，边界像素的数量仅呈线性增长。在本文中，我们旨在确定一种对所有尺度上的边界质量敏感的图像分割方法。

为了实现这个目标，我们从研究标准的分割度量开始，如掩码IoU和边界聚焦度量，如Trimap IoU [23，6]和F度量[30，11，32]。我们通过在L-VIS数据集的高质量地面真实掩膜上生成各种误差类型来研究每种测量的误差敏感性特征[16]。我们的分析证实掩模IoU对较大物体的误差不太敏感。此外，该分析揭示了现有的以边界为中心的测量的局限性，例如不对称和掩模质量的微小变化的不稳定性。

基于这些见解，我们提出了一种新的边界IoU度量。边界IoU简单易算。它不是考虑所有像素，而是计算距离相应的地面真实或预测边界轮廓一定距离内的遮罩像素的交集-交集。我们的分析表明，边界IoU很好地测量了大对象的边界质量，不像蒙版IoU，它不会过度惩罚小对象上的错误。图1中的示例比较了边界IoU和屏蔽IoU。

边界IoU支持新的任务级评估指标。对于实例分割的任务[28]，我们提出了边界平均精度，对于全景分割[21]，我们提出了边界全景质量。

边界应用程序评估实例分割的所有相关方面，同时考虑分类、定位和分割质量，不像以前的实例分割的边界聚焦指标，如AF [26]，忽略假阳性率。我们在三个常见的数据集上测试边界点:COCO [28]，L VIS [16]和city scape[10]。根据直接针对改善边界质量的最近实例分割方法的真实预测[22，8]，我们验证了边界应用程序比屏蔽应用程序更好地跟踪改善。通过综合预测，我们发现边界点对大物体边界质量的敏感度明显高于遮罩点。

对于全景分割，我们将边界点应用于COCO [21]和Cityscapes [10]全景数据集。我们用合成预测测试了新的度量，并表明它比以前基于掩码IoU的度量更敏感。最后，我们使用新的评估指标来评估各种最近的实例和全景分割模型的性能，以便为将来的研究进行比较。

这些新指标揭示了边界质量的改善，而这种改善通常被基于掩码IoU的评估指标所忽略。我们希望采用这些新的边界敏感的评估可以使分割模型取得更快的进展，获得更好的边界质量。