深度学习和机器学习中常用精度评价指标
遇到什么写什么,有错误可以在评论中指出,非常感谢
- 现在,本文包括精度、召回率、灵敏度、recall、F-Score、F1-Score和特异度
- 由于现在还不需要,所以没有给出每个指标的数学含义,后续会有补充
背景
类别 | 英文缩写 | 含义 |
---|---|---|
真阳性 | TP | 标签为目标且分为目标 |
真阴性 | TN | 标签为背景且分为背景 |
假阳性 | FP | 标签为背景但被分为目标 |
假阴性 | FN | 标签为目标但被分为背景 |
其中,T表示True,F表示False,P表示Positive,N表示Negative
有一个非常好记的方法,就是T表示分类正确,F表示分类错误,P表示被分为目标,N表示被分为背景,这样组合一下就OK
精度–precision
精 度 = T P T P + F P 精度= \frac{TP}{TP+FP} 精度=TP+FPTP
准确率–accuracy
准 确 率 = T P + T N T P + T N + F P + F N 准确率 = \frac{TP+TN}{TP+TN+FP+FN} 准确率=TP+TN+FP+FNTP+TN
平均像素准确率–mean pixel accuracy
M P A = 1 2 ( T P T P + F N + T N T N + F P ) MPA = \frac{1}{2}(\frac{TP}{TP+FN}+\frac{TN}{TN+FP}) MPA=21(TP+FNTP+TN+FPTN)
召回率/灵敏度–recall/Sensitivity
召回率有时也叫做敏感度–Sensitivity,或者真阳性率
召
回
率
=
T
P
T
P
+
F
N
召回率 = \frac{TP}{TP+FN}
召回率=TP+FNTP
F-Score & F1-Score
F
−
S
c
o
r
e
=
p
r
e
c
i
s
i
o
n
∗
r
e
c
a
l
l
β
∗
p
r
e
c
i
s
i
o
n
+
r
e
c
a
l
l
∗
(
1
+
β
2
)
F-Score = \frac{precision*recall}{β*precision+recall}*{(1+β^2)}
F−Score=β∗precision+recallprecision∗recall∗(1+β2)
其中,β为权重因子,当β为1时,F-Score就成了F1-Score。
F1-score也称为dice coefficient。
F1-score的值域范围是[0,1]。
特异度–specificity
特 异 度 = T N T N + F P 特异度 = \frac{TN}{TN+FP} 特异度=TN+FPTN
ROC–接收者操作特征(receiver operating characteristic)
ROC 曲线是以FP rate 为横坐标,TP rate为纵坐标绘制的曲线。ROC曲线越靠近左上角表示模型中FP小而TP大,模型表现好
VUC–曲线下面积(area under curve)
VUC就是ROC曲线下的面积,面积越大,模型performance越好。
交并比–IoU
交并比顾名思义,就是model给出的bounding box 和 ground truth 中的bounding box的交叠比例。一般认为,IOU大于0.5即可判定识别正确。
I
O
U
=
d
e
t
e
c
t
i
o
n
r
e
s
u
l
t
∩
g
r
o
u
n
d
t
r
u
t
h
d
e
t
e
c
t
i
o
n
r
e
s
u
l
t
∪
g
r
o
u
n
d
t
r
u
t
h
IOU=\frac{detection \ result \cap ground\ truth}{detection\ result \cup ground\ truth}
IOU=detection result∪ground truthdetection result∩ground truth
平均交并比–mIoU
m
I
o
U
=
1
k
+
1
∑
i
=
0
k
p
i
i
∑
j
=
0
k
p
i
j
+
∑
j
=
0
k
p
i
j
−
p
i
i
mIoU=\frac{1}{k+1}\sum_{i=0}^k\frac{p_{ii}}{\sum_{j=0}^kp_{ij}+\sum_{j=0}^kp_{ij}-p_{ii}}
mIoU=k+11i=0∑k∑j=0kpij+∑j=0kpij−piipii
其中,假设包括背景,总共有k+1类,
p
i
j
p_{ij}
pij表示将 i 类预测为 j 类的点数
p
i
i
p_{ii}
pii表示将 i 类预测为 i 类的点数。
二分类问题中的mIoU
m I o U = 1 2 ( T P T P + F N + F P + T N T N + F P + F N ) mIoU=\frac{1}{2}(\frac{TP}{TP+FN+FP} + \frac{TN}{TN+FP+FN}) mIoU=21(TP+FN+FPTP+TN+FP+FNTN)