对于分类模型的评价指标主要有错误率 、准确率、查准率、查全率、混淆矩阵、F1值、AUC和ROC。
1.1 错误率和准确率
错误率(Error rate):通常把分类错误的样本数占总样本总数的比例称为“错误率”。
准确率(Accuracy):是指分类正确的样本数占样本总数的比例,即准确率=1-错误率。
1.2 查准率、查全率、混淆矩阵和F1值
查准率(Precision):又称精确率,预测为正例的样本中,真正为正例的比率。
查全率(Recall):又称召回率,预测为正例的真实正例(TP)占所有真实正例的比例。
对于二分类问题,可将样例根据其真实类别与学习器预测类别的组合划分为以下四种情形:
真正例(true position):将一个正例正确判断为一个正例
假正例(false position):将一个反例错误判断为一个正例
真反例(true negative):将一个反例正确判断为一个反例