分类是监督学习中的一个核心问题。为了评价一个分类器的分类性能优劣,需要引入一些评估指标,这些指标有准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F值等。接下来就详细讲解分类问题中常用的性能评估指标。
通常以关注的类为正类,其他类为负类,依据分类器在测试数据集上的预测或正确与否,四种情况出现的总数分别记作:
-
TP (True Positive) — 将正类预测为正类的样本数;
-
FN (False Negative) — 将正类预测为负类的样本数;
-
FP (False Positive) — 将负类预测为正类的样本数;
-
TN (True Negative) — 将负类预测为负类的样本数;
其中,True、False表示分类正确与错误,Positive、Negative表示正、负样本。
准确率
准确率(Accuracy)是指对于给定的测试数据集,分类器正确分类的样本数与总样本数的比值,反映了分类器对整个样本的判定能力,即能够将正的判定为正,负的判定为负。计算公式如下:
A c c u r a c y = T P + T N T P + F N + F P + T N Accuracy = \frac{TP + TN}{TP+FN+FP+TN} Accuracy=TP+FN+FP+TNTP+TN
精确率与召回率
(1)精确率(Precision)是指被分类器判定为正的样本中真正的正样本的比重,即被分类器判为正的所有样本中有多少是真正的正样本。计算公式如下:
P r e c i s i o n = T P T P + F P Precision=\frac{TP}{TP+FP} Precision=TP+FPTP
(2)召回率(Recall)是指被正确判定的正样本占总的正样本的比重,即所有正样本有多少被分类器判为正样本。计算公式如下:
R e c a l l = T P T P + F N Recall = \frac{TP}{TP+FN} Recall=TP+FNTP
精确率和召回率反映了分类器性能的两个方面,单一依靠某个指标并不能较为全面地评价一个分类器的性能。一般情况下,精确率越高,召回率越低;反之,召回率越高,精确率越低。为了平衡精确率和召回率的影响,较为全面地评价一个分类器,引入了F-score这个综合指标。
F-Score
F-score是精确率和召回率的调和均值,计算公式如下:
F β = ( 1 + β 2 ) P r e c i s i o n × R e c a l l β 2 × P r e c i s i o n + R e c a l l F_\beta = (1 + \beta^2) \frac{Precision \times Recall}{\beta^2 \times Precision + Recall} Fβ=(1+β2)β2×Precision+RecallPrecision×Recall
其中, β \beta β( β > 0 \beta > 0 β>0)的取值反映了精确率和召回率在性能评估中的相对重要性。具体描述如下:
- 当 β = 1 \beta = 1 β</