评价指标是针对将相同的数据,输入不同的算法模型,或者输入不同参数的同一种算法模型,而给出这个算法或者参数好坏的定量指标。
在模型评估过程中,往往需要使用多种不同的指标进行评估,在诸多的评价指标中,大部分指标只能片面的反应模型的一部分性能,如果不能合理的运用评估指标,不仅不能发现模型本身的问题,而且会得出错误的结论。
本文将详细介绍机器学习分类任务
的常用评价指标:准确率(Accuracy)
、精确率(Precision)
、召回率(Recall)
、P-R曲线(Precision-Recall Curve)
、F1 Score、混淆矩阵(Confuse Matrix)
、ROC
、AUC
。
问题1:准确率的局限性
准确率是分类问题中最简单也是最直观的评价指标,但存在明显的缺陷。比如,当负样本占99%时,分类器把所有样本都预测为负样本也可以获得99%的准确率。所以,当不同类别的样本比例非常不均衡时,占比大的类别往往成为影响准确率的最主