机器学习分类问题:这9个常用的评估指标不容错过

152 篇文章 73 订阅

对机器学习的评估度量是机器学习核心部分,本文总结分类问题常用的metrics

分类问题评估指标

在这里,将讨论可用于评估分类问题预测的各种性能指标

1 Confusion Matrix

这是衡量分类问题性能的最简单方法,其中输出可以是两种或更多类型的类。混淆矩阵只不过是一个具有两个维度的表,即“实际”和“预测”,此外,这两个维度都有“真阳性(TP)”、“真阴性(TN)”、“假阳性(FP)”和“假阴性(FN)”,如下所示:

图片

与混淆矩阵相关的术语解释如下:

-**真阳(TP)**− 当数据点的实际类别和预测类别均为1

-**真实阴(TN)**− 当数据点的实际类和预测类都为0

-**假阳(FP)**− 当数据点的实际类别为0,预测的数据点类别为1

-**假阴(FN)**− 当数据点的实际类别为1,预测的数据点类别为0

我们可以使用sklearn的混淆矩阵函数confusion_matrix,用于计算分类模型混淆矩阵的度量。

2 Accuracy

它是分类算法最常见的性能度量。它可以被定义为正确预测的数量与所有预测的比率。我们可以通过混淆矩阵,借助以下公式轻松计算:

我们可以使用sklearn的accuracy_score函数,计算分类模型准确性的指标

3 Precision

precision定义为ML模型预测结果中:预测正确的正样本数除以所有的预测正样本数:

4 Recall

recall定义为ML模型预测结果中:预测正确的正样本数除以所有的实际正样本数:

5 Specificity

specificity定义为ML模型预测结果中:预测正确的负样本数除以所有的实际负样本数:

6 Support

支持度可定义为每类目标值中相应的样本数

7 F1 Score

该分数将为我们提供precisionrecall的调和平均值。从数学上讲,F1分数是precisionrecall的加权平均值。F1的最佳值为1,最差值为0。我们可以使用以下公式计算F1分数:

F1分数对precisionrecall的相对贡献相等。

我们可以使用sklearn的classification_report功能,用于获取分类模型的分类报告的度量。

8 AUC (Area Under ROC curve)

AUC(曲线下面积)-ROC(接收器工作特性)是基于不同阈值的分类问题性能指标。顾名思义,ROC是一条概率曲线,AUC衡量可分离性。简单地说,AUC-ROC度量将告诉我们模型区分类的能力,AUC越高,模型越好。

从数学上讲,可以通过绘制不同阈值下的TPR(真阳性率),即specificityrecall与FPR(假阳性率),下图显示了ROC、AUC,y轴为TPR,x轴为FPR:

图片

我们可以使用sklearn的roc_auc_score函数,计算AUC-ROC的指标。

9 LOGLOSS (Logarithmic Loss)

它也称为逻辑回归损失或交叉熵损失。它基本上定义在概率估计上,并测量分类模型的性能,其中输入是介于0和1之间的概率值。

通过精确区分,可以更清楚地理解它。正如我们所知,准确度是我们模型中预测的计数(预测值=实际值),而对数损失是我们预测的不确定性量,基于它与实际标签的差异。借助对数损失值,我们可以更准确地了解模型的性能。我们可以使用sklearn的log_loss函数。

完整代码、资料、技术交流,加入我们。
在这里插入图片描述

10 例子

下面是Python中的一个简单方法,它将让我们了解如何在二进制分类模型上使用上述性能指标。

from sklearn.metrics import confusion_matrix
from sklearn.metrics import accuracy_score
from sklearn.metrics import classification_report
from sklearn.metrics import roc_auc_score
from sklearn.metrics import log_loss

X_actual = [1, 1, 0, 1, 0, 0, 1, 0, 0, 0]
Y_predic = [1, 0, 1, 1, 1, 0, 1, 1, 0, 0]
results = confusion_matrix(X_actual, Y_predic)
print ('Confusion Matrix :')
print(results)
print ('Accuracy Score is',accuracy_score(X_actual, Y_predic))
print ('Classification Report : ')
print (classification_report(X_actual, Y_predic))
print('AUC-ROC:',roc_auc_score(X_actual, Y_predic))
print('LOGLOSS Value is',log_loss(X_actual, Y_predic))

输出:

Confusion Matrix :
[
   [3 3]
   [1 3]
]
Accuracy Score is 0.6
Classification Report :
            precision      recall      f1-score       support
      0       0.75          0.50      0.60           6
      1       0.50          0.75      0.60           4
micro avg     0.60          0.60      0.60           10
macro avg     0.62          0.62      0.60           10
weighted avg  0.65          0.60      0.60           10
AUC-ROC:  0.625
LOGLOSS Value is 13.815750437193334

文献参考:

  1. https://blog.csdn.net/ttdxtt/article/details/115522334

  2. https://www.tutorialspoint.com/machine_learning_with_python/machine_learning_algorithms_performance_metrics.htm

  3. https://towardsdatascience.com/understanding-auc-roc-curve-68b2303cc9c5

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
机器学习模型的评估指标主要分为分类和回归两大类。在分类模型中,常用评估指标包括混淆矩阵、准确率、错误率、精确率、召回率、F1 score、ROC曲线、AUC、PR曲线、对数损失和分类指标的文本报告。而在回归模型中,常用评估指标包括平均绝对误差(MAE)、均方误差(MSE)、均方根误差(RMSE)、归一化均方根误差(NRMSE)和决定系数(R2)。\[3\] 其中,ROC曲线是一种常用评估分类模型性能的指标,它独立于responders比例的变化,可以帮助我们了解模型在不同阈值下的表现。\[1\]而MAE(平均绝对误差)是一种常用评估回归模型性能的指标,它衡量了预测值与真实值之间的平均绝对差异。\[2\] 综上所述,机器学习模型的评估指标根据不同的任务和模型类型选择不同的指标进行评估,以帮助我们了解模型的性能和效果。 #### 引用[.reference_title] - *1* [你知道这11个重要的机器学习模型评估指标吗?](https://blog.csdn.net/fendouaini/article/details/100013633)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [机器学习模型评估指标](https://blog.csdn.net/dfly_zx/article/details/123142984)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值