工业异常检测计算指标
以下是工业异常检测中关键评估指标的 数学公式 及其详细说明,涵盖 Img-AUROC、Img-AP、Pixel-AUROC、Pixel-AP、Pixel-AUPRO 的计算过程,并附上混淆矩阵和辅助小指标公式。
1. 混淆矩阵(Confusion Matrix)
基础定义如下:
预测正常 | 预测异常 | |
---|---|---|
真实正常 | TN | FP |
真实异常 | FN | TP |
2. 图像级指标(Image-Level Metrics)
在计算auroc时我们选择的阈值时从预测的分数来抽取的。
(1) Img-AUROC(图像级AUROC)
- 真阳性率(TPR) 和 假阳性率(FPR):
T P R = T P T P + F N , F P R = F P F P + T N TPR = \frac{TP}{TP + FN}, \quad FPR = \frac{FP}{FP + TN} TPR=TP+FNTP,FPR=FP+TNFP
- AUROC 是 ROC 曲线下的面积,通过阈值变化计算:
Img-AUROC = ∫ 0 1 T P R ( F P R ) d F P R \text{Img-AUROC} = \int_{0}^{1} TPR(FPR) \, dFPR Img-AUROC=∫01TPR(FPR)dFPR
(2) Img-AP(图像级平均精度)
- Precision 和 Recall:
P r e c i s i o n = T P T P + F P , R e c a l l = T P R Precision = \frac{TP}{TP + FP}, \quad Recall = TPR Precision=TP+FPTP,Recall=TPR
- AP 是 Precision-Recall 曲线下的面积:
Img-AP = ∫ 0 1 P r e c i s i o n ( R e c a l l ) d R e c a l l \text{Img-AP} = \int_{0}^{1} Precision(Recall) \, dRecall Img-AP=∫01Precision(Recall)dRecall
3. 像素级指标(Pixel-Level Metrics)
(1) Pixel-AUROC(像素级AUROC)
- 对每个像素的异常分数计算 TPR/FPR,公式同 Img-AUROC,但基于像素级预测和真实掩码(GT Mask)。
(2) Pixel-AP(像素级平均精度)
- 类似 Img-AP,但输入为像素级预测和 GT Mask 的展平向量:
Pixel-AP = ∫ 0 1 P r e c i s i o n pixel ( R e c a l l pixel ) d R e c a l l \text{Pixel-AP} = \int_{0}^{1} Precision_{\text{pixel}}(Recall_{\text{pixel}}) \, dRecall Pixel-AP=∫01Precisionpixel(Recallpixel)dRecall
(3) Pixel-AUPRO(像素级AUPRO)
- PRO曲线 的纵轴为 平均重叠率(PRO),横轴为 FPR:
P R O = 1 N anom ∑ i = 1 N anom T P i T P i + F N i PRO = \frac{1}{N_{\text{anom}}} \sum_{i=1}^{N_{\text{anom}}} \frac{TP_i}{TP_i + FN_i} PRO=Nanom1∑i=1NanomTPi+FNiTPi
其中 N anom N_{\text{anom}} Nanom 是 GT 异常区域的数量, T P i TP_i TPi 和 FN_i 是第 i 个异常区域的像素级统计。
- AUPRO 是 PRO 曲线下面积:
Pixel-AUPRO = ∫ 0 1 P R O ( F P R ) d F P R \text{Pixel-AUPRO} = \int_{0}^{1} PRO(FPR) \, dFPR Pixel-AUPRO=∫01PRO(FPR)dFPR
4. 辅助小指标(Secondary Metrics)
(1) FPR@95%TPR
- 当 TPR=95% 时的 FPR 值:
F P R 95 = F P R s.t. T P R = 0.95 FPR_{95} = FPR \quad \text{s.t.} \quad TPR = 0.95 FPR95=FPRs.t.TPR=0.95
(2) IoU阈值下的F1分数
- 交并比(IoU)和 F1:
I o U = T P T P + F P + F N , F 1 = 2 × P r e c i s i o n × R e c a l l P r e c i s i o n + R e c a l l IoU = \frac{TP}{TP + FP + FN}, \quad F1 = \frac{2 \times Precision \times Recall}{Precision + Recall} IoU=TP+FP+FNTP,F1=Precision+Recall2×Precision×Recall
(3) 区域大小敏感指标
- 小异常区域(如面积 < 10px)的 Pixel-AP:
Pixel-AP small = AP 仅计算小异常区域 \text{Pixel-AP}_{\text{small}} = \text{AP} \quad \text{仅计算小异常区域} Pixel-APsmall=AP仅计算小异常区域