常用分类评估指标（二分类&多分类）

最新推荐文章于 2025-03-20 20:34:09 发布

Sophia要一直努力

最新推荐文章于 2025-03-20 20:34:09 发布

阅读量1.7w

点赞数 12

分类专栏：数据分析文章标签：机器学习数据分析

本文链接：https://blog.csdn.net/weixin_41555408/article/details/118439672

版权

数据分析专栏收录该内容

9 篇文章

订阅专栏

一直想写篇度量指标的文章，梳理一下这块的知识点，可能想了太多次，总以为自己已经写过了，今天看文章列表，竟然没有相关的内容，刚好最近在做多分类模型，借此机会整理一下。

混淆矩阵（confusion matrix）

在介绍各种指标前，先介绍混淆矩阵，基本所有的评价指标都是基于混淆矩阵计算得来的。
混淆矩阵每一行代表数据的真实类别，每一列代表预测类别。
以下是一个三分类问题的混淆矩阵：
在这里插入图片描述
二分类和多分类都有混淆矩阵，为了后面介绍指标时参数含义容易理解，我们以二分类的混淆矩阵为例。

TP：True Positive，真阳性，正样本分类为正样本
FP：False Positive，假阳性，负样本分类为正样本
TN：True Negative，真阴性，负样本分类为负样本
FN：False Negative，假阴性，正样本分类为负样本

二分类常用指标

准确率（Accuracy）
分类正确的样本占总样本的比例
Accuracy =（TP+TN)/(TP+FP+TN+FN)
但是，准确率在不均衡的样本集上度量效果很差。比如，一个二分类的样本中，有90个🐶类别，10个🐱类别，模型把所有样本都分类为🐶，此时，模型的准确率为90%，但显然模型的实际分类性能很差。
因此，引出以下指标。
精确率/查准率（Precision）/阳性预测值（positive predictive value，PPV）
预测为正且实际为正的样本占预测为正的样本的比例
Precision =TP/(TP+FP)
召回率/查全率（Recall）/真阳性率（true positive rate，TPR）/敏感度（Sensitivity）
预测为正且实际为正的样本占实际为正的样本的比例；换句话说，它是正样本中被预测为正的比例。
Recall = TP/(TP+FN)
F1-score
召回率和精确率之间往往存在此消彼长的关系，当模型能找出更多的正样本时，往往也会导致将更多的负样本分类为正样本，即recall高时，precision往往较低，而precision高时，recall往往较低。为了在这两个指标之间取得平衡，发明了F1指标，它是上述两者的调和平均数。
F1 = 2Precision*Recall/(Precision+Recall)

除了这四个最常用的指标，还有几个值得了解。

特异度（Specificity）/真阴性率（true negative rate，TNR）
和recall类似，它是负样本中被预测为负样本的比例。
TNR = TN/(TN+FP)
误报率（False discovery rate, FDR)
预测为正的样本中，实际为负的样本所占比例。
FDR = FP/(FP+TP) = 1- Precision
阴性预测值（Negative Predictive Value，NPV )
预测为负的样本中负样本的比例。
NPV = TN/(TN+FN)
kappa系数
Kappa系数是一个用于一致性检验的指标，也可以用于衡量分类的效果。对于分类问题，所谓一致性就是模型预测结果和实际分类结果是否一致。
kappa系数的提出也是因为准确率指标存在的问题，因此它能够惩罚模型的“偏向性”，根据kappa的计算公式（下图），越不平衡的混淆矩阵，P_e越高，kappa值就越低，正好能够给“偏向性”强的模型打低分。
kappa系数的取值为-1到1之间,通常大于0。可分为五组来表示不同级别的一致性：0.0～0.20极低的一致性(slight)、0.21～0.40一般的一致性(fair)、0.41～0.60 中等的一致性(moderate)、0.61～0.80 高度的一致性(substantial)和0.81～1几乎完全一致(almost perfect)。

考虑到一个数据集中正负样本的比例可能随着时间（/阈值）的改变而发生变化，且实际数据集常存在样本分布不均衡的情况，因此又有一个新的指标被发明出来。

ROC曲线/AUC（Area Under the Curve，曲线下面积）
ROC曲线(receiver operating characteristic curve), 是反映敏感性和特异性连续变量的综合指标，曲线下面积越大，诊断准确性越高。

横坐标：1-Specificity，伪正类率(False positive rate，
FPR)，预测为正但实际为负的样本占所有负例样本的比例；
纵坐标：Sensitivity，真正类率(True positive rate，
TPR)，预测为正且实际为正的样本占所有正例样本的比例。
这条线到底是如何画出来的呢？

假如有上面这样一组数据，score是将该样本分为正样本的阈值，我们取不同的阈值就会得到不同的分类结果，对应多组FPR和TPR，即ROC曲线上的一点，这样就可以画出曲线了。
由于不受阈值影响，roc曲线可以用来评价一个分类器。而Precision-Recall曲线则会随着正负样本数量的变化而变化较大。

多分类常用指标

以上的计算公式一般只适用于二分类模型，对于多分类模型的评价方法，通常是先将其转换为多个二分类模型，分别对其进行指标计算，然后使用一些规则来把这些指标汇总起来。
比如一个多分类模型的样本标签有A、B、C三类，则先把它看作三个二分类器，分类器1的标签为A，非A；分类器2的标签为B，非B；分类器3的标签为C，非C。对每个二分类器的评估我们已经知道了，但要评估分类器的总体功能，就需要考虑三个类别的综合预测性能。

下面有三种常用的汇总准则：