1.6 分类模型准确性的评估方法

已于 2022-07-02 20:03:47 修改
阅读量333 收藏 1
点赞数 2
分类专栏： 机器学习理论TensorFlow 2、sklearn实现 文章标签： 数据挖掘 机器学习 人工智能 深度学习 自然语言处理
于 2021-08-19 23:34:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43940950/article/details/119813405
版权
本文详细介绍了分类模型的评估方法，包括混淆矩阵及其评价指标，如准确率、召回率、F1分数，以及Python实现。接着讨论了ROC曲线、AUC原理和计算过程，多分类ROC的Macro与Micro方法，同时探讨了PR-AUC曲线、Gini系数、KS曲线、CAP曲线、AR值、模型稳定性PSI、Lift和Gain图。这些工具和概念对于评估和比较分类模型的性能至关重要。
摘要由CSDN通过智能技术生成

分类模型的评估方法

目录

文章目录

混淆矩阵

在讲矩阵之前，我们先复习下之前在讲分类评估指标中定义的一些符号含义，如下：

正例

  • 如果是预测疾病，这项的结果是“患有疾病”
  • 二元目标变量中的1

负例

  • 如果是预测疾病，这项的结果是“未患有疾病”
  • 二元目标变量中的0
  1. TP(True Positive)真正：将正类预测为正类数，真实为1，预测也为1. 即属于该类预测为该类的数目
  2. TN(True Negative)真负：将负类预测为负类数，真实为0，预测也为0，即不属于该类预测为不属于该类的数目
  3. FN(False Negative)假负：将正类预测为负类数，真实为1，预测为0，即属于该类预测为不属于该类的数目
  4. FP(False Positive)假正：将负类预测为正类数， 真实为0，预测为1，即不属于该类预测为该类的数目

1、混淆矩阵定义及表示含义

混淆矩阵是机器学习中总结分类模型预测结果的情形分析表，以矩阵形式将数据集中的记录按照真实的类别与分类模型预测的

了解本专栏 订阅专栏 解锁全文 超级会员免费看
炫云云
关注
专栏目录
订阅专栏
matlab中LS_SVMlab1.6工具箱
07-17
6. **评估与验证**：包括交叉验证、预测误差计算等，帮助用户评估模型的准确性和稳定性。 7. **应用示例**：LS_SVMlab1.6附带一些示例数据集和脚本，帮助初学者快速上手，并理解LS-SVM的工作原理。 在实际使用LS_...
带你真正吃透AUC
天渡漫谈
07-07 1万+
本文旨在从所有教科书都讲到的AUC基本概念为起点，逐步带领大家进入AUC背后更为广阔、神奇的世界。 一、什么是AUC    AUC的全称为Area Under the Curve，即曲线下的面积。这里的曲线指的是什么曲线？有两种类型：ROC曲线和PR曲线。所以，AUC也会有两种类型：ROCAUC及PRAUC，分别对应ROC曲线下的面积以及PR曲线的的面积。 二、ROC曲线及PR曲线    在二分类问题中，模型输出得分SSS后（这里的得分指的是属于正例的概率值，即经过sigmoid函数归一化到[0,1]内.
分类模型评估之ROC-AUC曲线和PRC曲线
皮皮blog
06-30 9万+
http://blog.csdn.net/pipisorry/article/details/51788927 ROC曲线和AUC ROC（Receiver Operating Characteristic，接受者工作特征曲线）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣。博文介绍ROC和AUC的特点，讨论如何作出ROC曲线图以及计算AUC。 AUC是现...
小白也能看懂的 AUC 详解
PrimiHub的博客
11-01 1738
AUC 曲线详解
AUC计算方法总结
热门推荐
pzy20062141的专栏
09-24 12万+
1.  最直观的，根据AUC这个名称，我们知道，计算出ROC曲线下面的面积，就是AUC的值。事实上，这也是在早期 Machine Learning文献中常见的AUC计算方法。由于我们的测试样本是有限的。我们得到的AUC曲线必然是一个阶梯状的。因此，计算的AUC也就是这些阶梯 下面的面积之和。这样，我们先把score排序(假设score越大，此样本属于正类的概率越大)，然后一边扫描就可以得到我们想要
干货 | 一文完全理解AUC-ROC曲线
小白学视觉
05-03 5636
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达 来源： https://towardsdatascience.com/understanding-auc-roc-curve-68b2303cc9c5 翻译：石头 ...
贝叶斯分类器实验报告多代码全全全
10-18
通过比较预测类别与实际类别，可以评估模型的准确性。 总结来说，本实验报告深入探讨了最小风险贝叶斯分类器的原理和实现，结合鸢尾花数据集展示了如何应用这一理论进行分类任务。实验过程包括数据处理、模型训练和...
基于matlab的水果分类模式识别系统的设计与实现.docx
10-19
基于MATLAB的水果分类模式识别系统是一个利用计算机视觉和机器学习技术来自动区分不同...通过以上步骤，系统能对输入的水果图像进行有效的特征分析和分类，实现对不同水果的准确识别，从而提高水果分拣的效率和准确性。
auc 和loss_如何理解机器学习和统计中的AUC？
weixin_39582724的博客
12-20 409
之前各位的回答从各个角度解释了AUC的意义和计算方法，但是由于本人实在愚钝，一直没能参透AUC的意义和计算方法之间的联系，直到刚才突然有所顿悟，本着尽量言简意赅、浅显易懂的原则，在这里记录一下。首先，在试图弄懂AUC和ROC曲线之前，一定，一定要彻底理解混淆矩阵的定义！！！混淆矩阵中有着Positive、Negative、True、False的概念，其意义如下：称预测类别为1的为Positive(...
模型评估-2
weixin_30606461的博客
01-25 439
一、分类算法的评估 1、二分类 ROC与AUC 1.1 roc曲线：接收者操作特征(receiveroperating characteristic) roc曲线上每个点反映着对同一信号刺激的感受性。横轴：负正类率(false postive rate FPR)特异度，划分实例中所有负例占所有负例的比例；(1-Specificity)；纵轴：真正类率(true postive rate TPR)灵...
AUC与ROC曲线面积的意义(细扒sklearn的AUC计算方法)
ywj_1991的博客
05-10 1万+
本文我们详细介绍什么是AUC、ROC，和AUC的具体计算逻辑、实现代码，以及AUC的使用经验值。
ROC曲线与AUC计算
mytestmy的专栏
04-21 1万+
ROC曲线绘制与AUC计算           致谢 多位博主的无私分享。 参考文献 [1] http://blog.csdn.net/chjjunking/article/details/5933105 . chjjunking的博客 [2] http://blog.csdn.net/abcjennifer/article/details/735937
【机器学习】了解 AUC - ROC 曲线
gongdiwudu的专栏
07-16 3万+
在机器学习中，性能测量是一项基本任务。因此，当涉及到分类问题时，我们可以依靠AUC - ROC曲线。
ROC曲线绘制和AUC计算
最新发布
ccc_bioinfo的博客
11-30 1984
ROC曲线绘制和AUC计算，以及在医学诊断中的应用
ROC/AUC曲线学习及Python实现
Joker 007的博客
10-06 1万+
参考博客：【机器学习笔记】：一文让你彻底理解准确率，精准率，召回率，真正率，假正率，ROC/AUC 一、准确率，精准率，召回率 1.TP、TN、FP、FN概念 P（Positive）：代表1 N（Negative）：代表0 T（True）：代表预测正确 F（False）：代表错误 以上四种情况可理解为： 先看 ①预测结果（P/N），再根据②实际表现对比预测结果，给出判断结果（T/F）。 如： TP： 预测为1，预测正确，即实际1 FP： 预测为1，预测错误，即实际0 FN： 预测为0，预测错误，即实际1
什么是AUC曲线
Kp0fS的草稿纸
10-31 752
什么是AUC曲线 参考资料：
理解AUC
weixin_30361753的博客
05-15 189
本文主要讨论了auc的实际意义，并给出了auc的常规计算方法及其证明 转载请注明出处：http://www.cnblogs.com/van19/p/5494908.html 1 ROC曲线和auc 从二分类说起，假设我们的样本全集里，所有样本的真实标签（label）为0或1，其中1表示正样本，0表示负样本，如果我们有一个分类模型，利用它对样本进行了标注，那边我们可以得...
AUC含义的通俗理解
qq_38032064的博客
03-17 2万+
AUC含义的通俗理解 假设有一个分类器，并且该分类器可以得到将一个样本预测为正的概率，并将此概率称为这个样本的得分。 首先说一下AUC的含义：随机给定一个正样本和一个负样本，用一个分类器进行分类和预测，该正样本的得分比该负样本的得分要大的概率。 那么应该如何理解这个含义呢？首先我们要知道ROC曲线是怎么画出来的。而AUC即ROC曲线下面的面积。 1. 混淆矩阵 （图源：https://www.z...
机器学习实战入门：任务分类与模型详解
3. 模型如KNN（K近邻）、决策树（包括ID3、C4.5等划分方式）、贝叶斯分类、逻辑回归和SVM等都是常见的分类模型，而OLS（最小二乘法）、局部加权回归、岭回归和树形回归等则是回归模型的代表。 4. 无监督学习部分，...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

炫云云

你的鼓励是我创作最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值