分类性能的评价指标
准确率
准确率是全部参与分类的文本中,与人工分类结果吻合的文本所占的比例。
即:预测与真实标签相同的比例
A
c
c
u
r
a
c
y
=
T
P
+
T
N
T
P
+
T
N
+
F
P
+
F
N
Accuracy=\frac{TP+TN}{TP+TN+FP+FN}
Accuracy=TP+TN+FP+FNTP+TN
精确率
也称为查准率,衡量分类结果的正确性,定义为:正确划分属于某类别的样本数量与实际划分属于该类别的全部样本数量的比值
即:你预测的是对的中,有多少真的是对的
P
r
e
c
i
s
i
o
n
=
T
P
/
T
P
+
F
P
Precision=TP/TP+FP
Precision=TP/TP+FP
召回率
也称为查全率,衡量的是分类结果的完整性,其定义为被正确划分为该类别的样本数量与实际划分为该类别的样本数量的比值
即:本来是对的中,在预测中找到了多少对的
R
e
c
a
l
l
=
T
P
/
T
P
+
F
N
Recall=TP/TP+FN
Recall=TP/TP+FN
就同一个分类器而言,召回率与精确率有相互制约的关系,可以通过牺牲精确率来提高召回率,同样也可以通过降低召回率来改善精确率。一般而言,随着阈值的不断增大,召回率单调下降,而精确率振荡上升。
例如:在对患者进行随访检查中,我们想找到所有实际患病的患者,即想得到接近1的召回率。在此情况下如果随访检查的代价不高,我们可以接受比较低的精确率。
在很多情况下,将两者综合考虑,最常用的方法是引入F-测量(F-measure)指标来综合评价分类召回率与精确率:
F
β
=
(
β
2
+
1
)
∗
P
r
e
c
i
s
i
o
n
∗
R
e
c
a
l
l
β
2
∗
P
r
e
c
i
s
i
o
n
+
R
e
c
a
l
l
F_{\beta}=\frac{(\beta^{2}+1)*Precision*Recall}{\beta^{2}*Precision+Recall}
Fβ=β2∗Precision+Recall(β2+1)∗Precision∗Recall
其中,
β
\beta
β为调整因子,来给召回率和精确率赋予不同的权重。
当
β
\beta
β=1时,精确率与召回率权值相同,此时F-测量被称为
F
1
F_{1}
F1指标:
F
1
=
2
∗
p
r
e
c
i
s
i
o
n
∗
r
e
c
a
l
l
p
r
e
c
i
s
i
o
n
+
r
e
c
a
l
l
F_{1}=\frac{2*precision*recall}{precision+recall}
F1=precision+recall2∗precision∗recall
F
1
F_{1}
F1值是对精确率与召回率的调和平均,优点在于能赋予精确率和召回率相同的权重以平衡二者。