缺陷检测指标PRO和sPRO

PRO(per-region overlap)

原文描述

To calculate the per-region overlap, real-valued anomaly scores are thresholded to obtain a binary prediction for each pixel in the test set. Then, the percentage of correctly predicted pixels is computed for each annotated defect region in the ground-truth. The average over all defects yields the final PRO value.

（来自论文 Beyond Dents and Scratches: Logical Constraints in Unsupervised Anomaly Detection and Localization）

解读

假设 groundtruth 有n个缺陷区域 S1，S2，…，Sn

在检测结果中，选取阈值后，所有像素都会被二分类为有缺陷或无缺陷，然后即可得到每个缺陷区域内被正确预测的面积（像素数量）A1，A2，…，A3，以及被正确预测的比例p1，p2，…，pn，其中

比如S1区域包含100个像素，即S1=100，但是只有50个像素被检测为缺陷，那么A1=50，p1就等于50/100=50%=0.5

然后对每个区域取均值即可得到PRO的值

该指标和 pixel level TPR很像

但是在TPR指标中，小的缺陷区域和大的缺陷区域权重不同，小缺陷被忽略的影响很小，假设存在两个缺陷区域S1=10，S2=90

第一个缺陷区域完全没有检测到，即A1=0，第二个完全检测出来，即A2=90，根据定义TPR=0.9，是一个很高的值

但是在计算PRO，发现PRO=0.5，性能大幅下降

在实际工业应用中，缺陷的重要程度与面积无关，任何缺陷不管面积多大，都会导致最终产品不合格，因此应当具有相同的权重，所以PRO是更加合理的指标。

sPRO(saturated per-region overlap)

该指标是PRO的优化版本，同样由上面那篇论文提出，其提出动机可以见下图

图左边有一个图钉盒子和对应的 ground truth，正常的盒子应该是每个格子包含一个图钉，图中的盒子最左侧中间那格缺了一个图钉，所以是有缺陷的，在 ground truth中整个格子都被标记为缺陷。

那么在PRO的计算中，必须要预测整个面积，PRO才能达到1.0，但是假如模型只预测出了缺失的图钉，从效果来说，模型性能是达标的，但是由于图钉面积很小，只占格子的一小部分，那么在计算PRO的时候，它的值就会很低。也就是说，性能指标的值和实际效果完全不匹配，这显然是不合理的。

因此，为了解决这种情况下的问题，作者提出了sPRO，即对每个区域S设定一个阈值t，如图右下角所示，只要预测出的面积A大于t，就当作其全部预测正确，将PRO值置为1.0，用数学语言描述就是

对 ground truth 中的每个缺陷区域Si，都有一个阈值ti，和检测出的区域Ai

需要注意的是，ti是由数据集制作者提供的，因此目前只有MVTec LOCO AD这个数据集可以计算sPRO这个指标，并且在大多数不需要优化的情况下，ti=Si