分类问题评价指标

已于 2022-03-05 15:01:33 修改
阅读量2.2k 收藏 29
点赞数
分类专栏： 评价指标 文章标签： 分类 机器学习 人工智能
于 2021-07-14 14:40:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZZ_Panda/article/details/118709016
版权

目录

模型评估方式

1.验证（Hold-Out）

2.交叉验证（Cross-Validation）

二分类问题

1.混淆矩阵（Confuse Matrix）

2.准确率（Accuracy）

3.精确率（Precision）

4.召回率（Recall）

5.F1-Score

6.P-R曲线（Precision-Recall Curve）

平衡点（BEP）

7.ROC曲线

8.AUC（Area under ROC Curve）

9.对数损失（Log Loss）

10.KS图（Kolomogorov Smirnov chart）

11.增益图和提升图（Gain and Lift charts）

12.马修斯相关系数（MCC）

多分类问题

1.混淆矩阵

2.对数损失

模型评估方式

1.验证（Hold-Out）

使用这种方法时，通常大的数据集会被随机分成三个子集：

训练集：用于构建预测模型。

验证集：用于评估训练阶段所得模型的性能。它为模型参数优化和选择最优模型提供了测试平台。不是所有模型算法都需要验证集。

测试集：用之前未训练的样本评估模型的预测性能。如果模型与训练集拟合的好于测试集，有可能是过拟合所致。

2.交叉验证（Cross-Validation）

当仅有有限数量的数据时，为了对模型性能进行无偏估计，我们可以使用 k 折交叉验证（k-fold cross-validation）。 使用这种方法时，数据被分成 k 份数目相等的子集；构建k次模型，每次留一个子集做测试集，其他用作训练集。如果 k 等于样本大小，这也被称之为留一验证（leave-one-out）。

二分类问题

1.混淆矩阵（Confuse Matrix）

混淆矩阵是机器学习中总结分类模型预测结果的情形分析表，以矩阵形式将数据集中的记录按照真实的类别与分类模型作出的分类判断两个标准进行汇总。

预测正例 预测负例
实际正例

TP (True Positive)

被模型预测为正的正样本

FN (False Negative)

被模型预测为负的正样本
实际负例

FP (False Positive)

被模型预测为正的负样本

TN (True Negative)

被模型预测为负的负样本

T (True) 和 F(False) 评价模型的判断结果是否正确；

P (Positive) 和 N(Negative) 代表模型的判断结果即分类器预测的结果。

假正例率（FPR）/ 误诊率（ = 1 - 特异度）：代表分类器预测的正类中实际负实例占所有负实例的比例。意为有多少负例被错判成了正例。
FPR=\frac{FP}{FP+TN}

真负例率（TNR）/ 特异度（Specificity）：代表分类器预测的负类中负实例占所有负实例的比例，TNR=1-FPR。衡量的是所有的负例中有多少是被正确分类了，由于类别不平衡问题中通常关注正例能否正确被识别，Specificity高则FP低，意味着很少将负例错判为正例，即该分类器对正例的判别具有“特异性”，在预测为正例的样本中很少有负例混入。
TNR=\frac{TN}{FP+TN}

假负例率（FNR）/ 漏诊率 （= 1 - 灵敏度）：意为有多少正例被错判成了负例。
FNR=\frac{FN}{TP+FN}

阳性似然比 = 真正例率 / 假正例率 = 灵敏度 / （1 - 特异度）

阴性似然比 = 假负例率 / 真负例率 = （1 - 灵敏度）/ 特异度

Youden指数 = 灵敏度 + 特异度 - 1 = 真正例率 - 假正例率

2.准确率（Accuracy）

准确率=预测正确的样本数/所有样本数，即预测正确的样本比例（包括预测正确的正样本和预测正确的负样本）。

Accuracy=\frac{TP+FN}{TP+FP+TN+FN}

Accuracy 能够清晰的判断模型的表现，但有一个严重的缺陷：在正负样本不均衡的情况下，占比大的类别往往会成为影响 Accuracy 的最主要因素，此时的 Accuracy 并不能很好的反映模型的整体情况。

Error=\frac{TN+FP}{TP+FP+TN+FN}=1-Accuracy

3.精确率（Precision）

精确率 / 查准率衡量的是所有被预测为正例的样本中有多少是真正例，是针对

最低0.47元/天 解锁文章
ZZ_Panda
关注
  • 0
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
分类问题的评价指标（Precision、Recall、Accuracy、F1-Score、Micro-F1、Macro-F1）以及混淆矩阵、ROC曲线
少年龙龙的博客
05-11 1万+
文章目录一、四个基本概念 TP、FP、TN、FN二、精确率（precision）、召回率（recall）、准确率（accuracy）三、F1-Score（F1分数）四、宏平均 Macro-F1 、微平均 Micro-F1、加权平均 Weighted avg五、混淆矩阵（Confusion Matrix）六、ROC 曲线和 AUC（Area Under the Curve，曲线下面积） 一、四个基本概念 TP、FP、TN、FN 真阳性：预测为正，实际为正。把正样本成功预测为正。 TP——True Posit
一文看懂分类模型的评估指标：准确率、精准率、召回率、F1、ROC曲线、AUC曲线
weixin_43612023的博客
11-21 4863
机器学习模型需要有量化的评估指标来评估哪些模型的效果更好。 本文将用通俗易懂的方式讲解分类问题的混淆矩阵和各种评估指标的计算公式。将要给大家介绍的评估指标有：准确率、精准率、召回率、F1、ROC曲线、AUC曲线。 机器学习评估指标大全 所有事情都需要评估好坏，尤其是量化的评估指标。 高考成绩用来评估学生的学习能力 杠铃的重量用来评估肌肉的力量 跑分用来评估手机的综合性能 机器学习...
分类问题中的各种评价指标——precision，recall，F1-score，macro-F1，micro-F1
u011412768的博客
10-13 1万+
目录 一、二分类评价指标 1、真实标签-预测标签的混淆矩阵 2、accuracy 3、precision、recall和F1-score 4、指标的选择问题 二、多分类评价指标 1、macro-F1 2、weight-F1 3、micro-F1 4、指标的选择问题 注：这篇文章只是对常用的分类问题中的评价指标的总结。 一、二分类评价指标 1、真实标签-预测标签的混淆矩阵 样本被预测为正 样本被预测为负 实际样本为正 TP（true positive） .
机器学习分类模型评估指标的学习
最新发布
2201_75562267的博客
04-16 867
常见的分类模型评估指标包括准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1分数（F1 Score）、ROC曲线和AUC值。
机器学习与深度学习常见面试问题与答案
小白学视觉
08-15 2818
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达 本文转自|OpenCV学堂第2章 数学知识1.计算下面函数的一阶导数和二阶导数根据基本函数，复合函...
分类评价指标小结P，R，Sn，Sp，F1，MCC
qq_41937076的博客
08-28 1万+
查准率P ，查全率R 查准率亦称为“准确率”，查全率亦称为“召回率” P-R曲线 F1 Sn， Sp，Acc Sensitivity Sn = TP /（TP+FN） Specificity Sp = TN / (TN+FP) Accuracy Acc = （TP+TN）/（TP+FN+TN+FP） MCC（Matthews correlation coefficient） （随时补充） ...
分类算法评价指标详解
dfly_zx的博客
02-26 1896
一、基本概念 评价指标是针对模型性能优劣的一个定量指标。 一种评价指标只能反映模型一部分性能，如果选择的评价指标不合理，那么可能会得出错误的结论，故而应该针对具体的数据、模型选取不同的的评价指标。 本文将详细介绍机器学习分类任务的常用评价指标：混淆矩阵（Confuse Matrix）、准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1 Score、P-R曲线（Precision-Recall Curve）、ROC、AUC。 二、混淆矩阵（Confuse Matri
分类问题中性能评价指标
qq_34116958的博客
07-10 1638
二分类 分类问题中会出现多种算法，那么自己如何知道算法性能的优劣呢，这就需要评价算法性能好坏的指标，这里介绍几个常用的指标. 1.准确率 评价分类问题的性能的指标一般是分类准确率，其定义是对于给定的数据，分类正确的样本数占总样本数的比例。Accuracy = 预测正确的样本数 / 所有样本数。但是这一指标在不均衡的数据上表现很差。比如说我的样本有990个正样本，10个负样本，我直接把所有样本都预测...
二分类问题评价指标
进阶的码农小白
03-29 1万+
1. 分类情况：针对一个二分类问题，将实例分成正类(postive)或者负类(negative)。但是实际中分类时，会出现四种情况.(1)若一个实例是正类并且被预测为正类，即为真阳性(True Postive TP)(2)若一个实例是正类，但是被预测成为负类，即为伪阴性(False Negative FN)(3)若一个实例是负类，但是被预测成为正类，即为伪阳性(False Postive FP)(...
机器学习二分类问题评价指标1
08-04
1、Accuracy 我给你100个样本，有正有负，你预 2、F1-score Precision和Recall的调和平均 3、ROC和AUC ROC曲线越靠近
使用sklearn对多分类的每个类别进行指标评价操作
09-16
主要介绍了使用sklearn对多分类的每个类别进行指标评价操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
图像分类评价标准 matlab
09-24
总体分类精度OA（Overall Accuracy）是指正确分类的像素点数与总的像素点数的比值，是一种常用的衡量变化检测结果的指标， Kappa系数是一种能更加精确衡量分类准确度的参数，能较好的反映出两者的一致性，
分类器的分类性能评价指标
04-18
通过具体应用实例，指出目前普遍使用的正确率和错误率评价指标在不平衡数据集、语义相关多分...通过实验证明，新的分类评价指标确实能很好的适应不平衡数据集、语义相关多分、不同错分代价等分类问题的分类器性能评价。
分类问题评价指标总结
baidu_39638008的博客
10-04 2154
1 二分类 评价指标：准确率，精确率，召回率，F1-Score， AUC, ROC, P-R曲线 对于二分类问题， 1.1 准确率（Accuracy） 准确率就是模型预测正确的样本数量占总样本数量的比例。 一般分类问题采用这个评价指标，但是对于数据集不平衡的情况，准确率就不具有代表性了。比如：有的类别样本多，有的类别样本占比小。若样本多的类别识别率很高，样本少的类别都识别错误，此时用准确率来评估模型的好坏显然不是很好的选择。 1.2 精确率（Precision） ...
一文完全理解模型ks指标含义并画出ks曲线（包含代码和详细解释）
热门推荐
scxyz的博客
01-31 7万+
KS(Kolmogorov-Smirnov)：KS用于模型风险区分能力进行评估， 指标衡量的是好坏样本累计分部之间的差值。 好坏样本累计差异越大，KS指标越大，那么模型的风险区分能力越强。 ——神秘的KS值和GINI系数 上面是ks的简单介绍，相信大家看了这几句话，肯定还是不懂ks到底是个什么。我也是研究了比较久，终于搞清楚了ks的具体计算方式。搞清楚了计算方式后，ks的含义自然就清楚了。下面...
机器学习——常用的分类模型性能评价指标
LL20246033的博客
02-22 8309
分类模型的性能评价指标，主要包含准确率，精确率、召回率、f1_score，ROC曲线，AUC等 1、分类评价指标 先列出混淆矩阵 其中： TP：真实值是positive，模型分为positive FN：真实值是positive，模型分为negative FP：真实值是negative，模型分为positive TN：真实值是negative，模型认为是negative 1.1、准确度（Accuracy） 准确度：对于给定的测试集，模型正确分类的样本数与总样本数之比。 公式为： 1.2、精确度（preci
【机器学习】分类算法评估指标全总结(2023最新整理)关键词：准确率Accuracy、精确率Precision、召回率Recall、Micro F1、P-R、ROC、MCC、Cohen‘s kappa
Next_SummerAgain的博客
03-20 1万+
评估指标是针对模型性能优劣的一个定量指标。一种评价指标只能反映模型一部分性能，如果选择的评价指标不合理，那么可能会得出错误的结论，故而应该针对具体的数据、模型选取不同的的评价指标。 针对不同类型的学习任务，我们有不同的评估指标，这里我们来介绍最常见的分类算法的一些评估指标。常用的分类任务评价指标有准确率（Accuracy）、精确率（Precision）、召回率（Recall）、Macro F1、Micro F1、P-R曲线（Precision-Recall Curve）、ROC、AUC、MCC、Cohen
【总结】分类、聚类的评估指标
guomutian911的专栏
11-05 1万+
1. 分类问题评价指标 1-1. 精确率与召回率 精确率（Precision）指的是模型判为正的所有样本中有多少是真正的正样本；召回率（Recall）指的是所有正样本有多少被模型判为正样本，即召回。感觉精确率是个局部的，召回率是个全局的。 精确率与召回率 1-2. ROC 真正类率(true positive rate ,TPR)，刻画的是分类器所识别出的 正实例占所有正实例的比例（正样本预测
sklearn中多分类模型评价指标
09-30
在sklearn中，多分类模型的评价指标包括准确率、混淆矩阵、精确率、召回率、F1-score、支持度等。 首先，准确率是评价多分类模型性能的常用指标之一。它表示模型预测正确的样本占总样本数量的比例。准确率越高，模型的性能越好。 其次，混淆矩阵是多分类模型评价的重要工具。它是一个正方形矩阵，行表示实际类别，列表示预测类别。矩阵的每个元素表示被分为某个类别的样本数量。通过分析混淆矩阵可以得到模型在不同类别上的预测情况。 除了准确率和混淆矩阵之外，精确率和召回率也是常用的多分类模型评价指标之一。精确率表示在所有被预测为某一类别的样本中，实际属于该类别的比例。召回率表示在所有实际属于某一类别的样本中，被正确预测为该类别的比例。 F1-score是综合衡量精确率和召回率的指标，它是二者的调和均值，可以更全面地评估模型的性能。F1-score越高，模型的性能越好。 最后，支持度指标表示每个类别在样本中的出现次数。该指标可以衡量模型对各个类别的预测能力。支持度越高，表示该类别在样本中的比例越大。 在sklearn中，我们可以使用相应的函数或方法计算这些多分类模型评价指标，如准确率可以使用accuracy_score函数，混淆矩阵可以使用confusion_matrix函数，精确率和召回率可以使用classification_report函数，F1-score可以使用f1_score函数，支持度可以使用value_counts方法等。通过这些评价指标，我们可以对多分类模型的性能进行全面的评估和比较。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值