深度学习常见问题——评价指标
ROC曲线
1. 定义
横坐标为假阳性率(FPR),纵坐标为真阳性率(TPR)。其中:
F
P
R
=
F
P
N
=
F
P
T
N
+
F
P
FPR=\frac{FP}{N}=\frac{FP}{TN+FP}
FPR=NFP=TN+FPFP
T
P
R
=
T
P
P
=
T
P
T
P
+
F
N
TPR=\frac{TP}{P}=\frac{TP}{TP+FN}
TPR=PTP=TP+FNTP
2. 优点
ROC对正负样本分布不均衡有鲁棒性,而实际中正负样本经常是不均衡的
(P-R曲线则没有这种优点)
AUC值
1. 定义
ROC曲线下方的面积(也就是ROC曲线沿着X轴的积分),AUC值越大越好,越大说明越有可能把正确的样本排在前面
P-R曲线(对应ROC曲线)
1. 定义
横轴为准确率(Precision),纵轴为召回率(Recall)。其中:
P
r
e
c
i
s
i
o
n
=
T
P
T
P
+
F
P
Precision=\frac{TP}{TP+FP}
Precision=TP+FPTP,表示模型提出的正样本中正确的有多少
R
e
c
a
l
l
=
T
P
T
P
+
F
N
Recall = \frac{TP}{TP+FN}
Recall=TP+FNTP,表示模型提出的正样本占全部正样本的多少
2. 特点
我们希望R越高越好,也希望R越高越好,但是这两者在某些情况是矛盾的。召回率和精确率可能需要权衡。但是
AP值(对应AUC值)
1. 定义
P-R曲线下方的面积,也就是沿着Recall轴的积分值。另外如无特殊说明,AP的最终结果是按照IOU阈值从0.5到0.95步长为0.05的不同IOU计算AP后取均值得到的,也就是AP@50:5:95,另外后面有特定的数值就是说IOU选取特定的值的时候的AP计算值
具体的AP计算对应范围如下:
mAP值
1. 定义
可以说是不同类别AP取平均,但是实际上AP和mAP往往指代的是同一个概念,即AP通常也是跨类别计算的而不是针对某一特定的类别计算的,因此一般AP和mAP不做区分。