every blog every motto: You can do more than you think.
0. 前言
简单记录评价指标,precision、recall、f1、accuracy、IoU、MIoU、FWIoU
1. 正文
1.1 概念理解
举个栗子:
用模型对100人进行身体健康状况预测,已知30人患肿瘤。规定肿瘤为阳性,正常为阴性。
预测结果:25人阳性,其中5人实际为阴性。则,
TP = 20,(True Positive,正确预测为阳性)
FP = 5,False Positive,错误预测为阳性)
FN=10, (False Negative,错误预测为阴性)
TN = 65,(True Negative,正确预测为阴性)
小结:
第二字母为预测结果(P或N,预测为阳性或阴性),第一个字母为对预测结果的判断(T或F,预测正确或错误)
第二字母为预测结果(P或N,预测为阳性或阴性),第一个字母为对预测结果的判断(T或F,预测正确或错误)
第二字母为预测结果(P或N,预测为阳性或阴性),第一个字母为对预测结果的判断(T或F,预测正确或错误)
混淆矩阵形式:
图示:
说明: 不管是肿瘤还是建筑物预测,我们一般将我们所关心的类别归为阳性,剩下的归为阴性。
1.2 相关指标
说明: 若进行语义分割相关指标计算,我们先计算混淆矩阵,即TP、FP、TN、FN,统计图片上各类像素点个数。
1.2.1 精确率precision:
P
r
e
c
i
s
i
o
n
=
T
P
T
P
+
F
P
Precision = {TP \over TP + FP}
Precision=TP+FPTP
即,
P
r
e
c
i
s
i
o
n
=
20
20
+
5
Precision = { 20 \over 20 + 5}
Precision=20+520
从预测结果的角度出发(分母为预测结果),其中,有多少是正确预测出来的。
1.2.2 召回率 recall:
R e c a l l = T P T P + F N Recall = {TP \over TP + FN} Recall=TP+FNTP
R
e
c
a
l
l
=
20
20
+
10
Recall = {20 \over 20 + 10}
Recall=20+1020
从实际情况出发(分母为实际患肿瘤的人数),其中,有多少人的肿瘤是查出来的(召回)
1.2.3 F1
precision 和recall 是相互制约的,从不同的角度评价我们的模型性能,同时考虑二者的影响,我们可以用调和平均数
F
1
=
2
∗
P
r
e
c
i
s
i
o
n
∗
R
e
c
a
l
l
P
r
e
c
i
s
i
o
n
+
R
e
c
a
l
l
F1 = {2*Precision*Recall \over Precision + Recall}
F1=Precision+Recall2∗Precision∗Recall
1.2.4 准确率accuracy
正确分类的样本的比例
a
c
c
=
T
P
+
T
N
T
P
+
F
P
+
T
N
+
F
N
acc = {TP + TN \over TP + FP + TN + FN}
acc=TP+FP+TN+FNTP+TN
1.2.5 IoU
交并比,图示:
数学公式:
I
o
U
=
∣
A
∩
B
∣
∣
A
∪
B
∣
IoU = {|A \cap B| \over |A \cup B|}
IoU=∣A∪B∣∣A∩B∣
计算公式:
I
o
U
=
T
P
T
P
+
F
P
+
F
N
IoU = {TP \over TP + FP + FN}
IoU=TP+FP+FNTP
1.2.6 MIoU
平均交并比,如,语义分割中,我们进行多个类别分类,我们可以计算平均交并比,
M I o U = 1 N × ∑ i = 1 N I o U i MIoU = {1 \over N} × \sum_{i=1}^N{IoU_i} MIoU=N1×i=1∑NIoUi
i 为类别,N为类别总数
1.2.7 FWIoU
频权交并比,根据每一类出现的频率设置权重,权重和对应的IoU相乘再进行求和。
F
W
I
o
U
=
∑
i
=
1
N
1
P
i
×
I
o
U
i
FWIoU = \sum_{i=1}^N{1 \over P_i}×{IoU_i}
FWIoU=i=1∑NPi1×IoUi
P为频率,N为类别
具体到一类中的计算公式为,
TP+FN: 标签中真阳性数目
TP+FN+TN+FP: 标签中总数目
F
W
I
o
U
i
=
T
P
+
F
N
T
P
+
F
P
+
T
N
+
F
N
×
T
P
T
P
+
F
N
+
F
P
FWIoU_i = {TP+FN \over TP+FP+TN+FN}×{TP \over TP+FN+FP}
FWIoUi=TP+FP+TN+FNTP+FN×TP+FN+FPTP
1.2.8 Dice coefficient
图像分割中,常用其作为评价指标,取值范围为0-1。
图示:
数学公式:
D i c e = 2 ∣ A ∩ B ∣ ∣ A ∣ + ∣ B ∣ Dice = {2 |A \cap B| \over |A| + |B|} Dice=∣A∣+∣B∣2∣A∩B∣
计算公式:
D i c e = 2 × T P F P + F N + 2 × T P Dice = {2×TP \over FP + FN + 2×TP} Dice=FP+FN+2×TP2×TP
参考文献
[1] https://blog.csdn.net/xinyuski/article/details/85267307?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-5.essearch_pc_relevant&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-5.essearch_pc_relevant
[2] https://blog.csdn.net/caihuanqia/article/details/108491184
[3] https://www.zhihu.com/question/316078843/answer/628394880
[4] https://blog.csdn.net/qq_28949847/article/details/107467760
[5] https://www.aiuai.cn/aifarm1159.html