机器学习笔记十五：分类问题的性能度量(混淆矩阵,正确率,召回率,ROC,AUC)

最新推荐文章于 2024-08-19 20:05:05 发布
最新推荐文章于 2024-08-19 20:05:05 发布
阅读量1.6w 收藏 54
点赞数 10
分类专栏： 机器学习理论 文章标签： 机器学习 ROC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xierhacker/article/details/70903617
版权
本文详细介绍了机器学习中用于评估分类模型性能的度量标准，包括混淆矩阵、精确率、召回率、准确率和F值。重点讲解了ROC曲线及其相关概念FPR和TPR，强调了在正负样本不平衡的情况下，仅依赖准确率可能带来的误导，而ROC曲线和AUC能提供更全面的评估。
摘要由CSDN通过智能技术生成

这一部分总结分类问题常用的性能度量手段,这里涉及到的概念有混淆矩阵,正确率,召回率,ROC,AUC等等.这些概念都是比较简单,同时也是非常非常常用的.需要仔细理解.

一.混淆矩阵(Confusion Matrix)

一开始需要说一下的就是混淆矩阵啦,混淆矩阵是一个很简单很基础的东西.可以作为分类问题一个比较基本的可视化工具.
通常来说混淆矩阵的行代表的是实际类别,列代表的是预测的类别.要是这样说有一些抽象的话,通过一个例子可以直观秒懂.这里使用维基百科上面的例子:https://en.wikipedia.org/wiki/Confusion_matrix
假设一共有27只动物,其中有8只猫,6条狗,13只兔子.最终的分类的结果如下图:
这里写图片描述
上面这幅图可以这么看,比如第一行,可以看做是猫中有5只预测为猫(即预测正确),有3只预测为狗,0只预测为兔子. 同样第二行可以理解为狗中有2只预测为猫,有3只预测为狗,1只预测为兔子…..依次类推.
可以看出来,对角线上面的是每一类别被正确预测的数量(概率),意味着,一个好的分类器得到的结果的混淆矩阵应该是尽可能的在对角线上面”成堆的数字”,而在非对角线区域越接近0越好,意味着预测正确的要多,预测错误的要少.

然后就是大多数人都更加熟悉的另外一种混淆矩阵的形式了.(维基百科上面叫做混淆表格(Table of confusion)),就是把一个二类分类问题下面的方式来表示:

真正例(True Positive;TP):将一个正例正确判断成一个正例
伪正例(False Positive;FP):将一个反例错误判断为一个正例
真反例(True Negtive;TN):将一个反例正确判断为一个反例
伪反例(False Negtive;FN):将一个正例错误判断为一个反例

上面这个概念很多初学者应该会反应比较难记下来,简写啊什么的.其实你可以把前面的那个字母看做是否判断正确,后面那个字母看做预测的类型.
比如,TN,看到T,说明预测是正确的,后面那个是预测的类型,是N(反例),也就是说,是正确的把反例预测为了反例.同样可以

最低0.47元/天 解锁文章
谢小小XH
关注
专栏目录
机器学习基础概念：查准率、查全率、ROC、混淆矩阵、F1-Score 机器学习实战：分类器
12-21
在机器学习领域，评估分类器性能是至关重要的。本文将深入探讨几个关键概念：查准率（Precision）、查全率（Recall）、ROC曲线、混淆矩阵以及F1-Score，这些都是衡量分类器效能的重要指标。 查准率（Precision）是...
混淆矩阵，准确率，精准率，召回率
abc_xian的博客
06-22 1万+
摘自：https://zhuanlan.zhihu.com/p/46714763 混淆矩阵 P（Positive）：代表1 N（Negative）：代表0 T（True）：代表预测正确 F（False）：代表错误 照上面的字符表示，混淆矩阵就变成了下面这样： TP：预测为1，实际1，预测正确 FP：预测为1，实际0，预测错误 FN：预测为0，实际1，预测错确 TN：预测为0，实际0，预测正确 2. 准确率 准确率的定义是预测正确的结果占总样本的百分比，其公式如下： 准确率=(T
看懂YOLOv7混淆矩阵的含义，正确计算召回率、精确率、误检率、漏检率
孟孟单单的博客
11-28 9344
【代码】看懂YOLOv7混淆矩阵的含义，正确计算召回率、精确率、误检率、漏检率。
机器学习-混淆矩阵
最新发布
2301_77698138的博客
08-19 1252
随着机器学习和人工智能的迅速发展，分类模型成为了解决各种问题的重要工具。然而，仅仅知道模型预测对了多少样本是不够的。我们需要一种更详细、更系统的方法来理解模型的分类能力，以及它在不同类别上的表现。混淆矩阵是机器学习中一种评估分类模型性能的工具，特别是在监督学习中。它主要用于描述分类模型的预测结果与实际样本类别之间的关系。混淆矩阵通过矩阵的形式，展示了每个类别中预测正确的样本数和预测错误的样本数。
评估深度学习模型的指标：混淆矩阵、准确率、精确率和召回率
oreo的博客
12-14 1万+
在计算机视觉任务重，目标检测用来定位出一张图像上的一个或多个物体。。处理传统的目标检测方法，基于深度学习的模型比如R-CNN和YOLO算法在不同类型的物体检测上都有着优异的检测效果。这些模型接收一张图像作为输入数据，然后返回每一个所检测物体的边界框的坐标。这个教程将会讨论如何计算混淆矩阵、准确率、精确率和召回率。具体而言，主要内容如下： （1）二分类的混淆矩阵 （2）多分类的混淆矩阵 （3）使用Scikit-learn库来计算混淆矩阵 （4）准确率、精确率和召回率计算公式 （5）使用精确率还是..
分类模型评估：混淆矩阵、准确率、召回率、ROC
Laurence的技术博客
02-13 3248
在二分类问题中，混淆矩阵被用来度量模型的准确率。因为在二分类问题中单一样本的预测结果只有Yes or No，即：真或者假两种结果，所以全体样本的经二分类模型处理后，处理结果不外乎四种情况，每种情况都有一个专门称谓，如果用一个2行2列表格描述，得到的就是“混淆矩阵”。其中，假阳性（FP）又被称为“Type 1 Error”，假阴性（FN）又被称为“Type 2 Error”。在所有“预测为真”（TP+FP）的数据中，有多少是“真得预测对了”（TP）的? 这个百分比叫“准确率”（Precision）在所有“实际
朴素贝叶斯 混淆矩阵，2分类下的混淆矩阵，精确率与召回率，F1-score
ck784101777的博客
07-25 7688
目录 1.混淆矩阵 2.精确率(Precision)与召回率(Recall) 3.F1-score 4.sklearn API接口 参考文档 1.混淆矩阵 混淆矩阵就是分别统计分类模型归错类，归对类的观测值个数，然后把结果放在一个表里展示出来。这个表就是混淆矩阵。 在分类任务中，预测结果与正确标记之间存在四种不同的组合，构成混淆矩阵，以下是二分类的混淆矩阵： 假设有一组数据集，一共有66个样本，三个目标值，猫、狗、猪。 混淆矩阵为： 关于这个混淆矩阵，从真实值为猫这一列开始看，代.
机器学习-深度学习-常见评估方法-混淆矩阵、正确率、精确率、召回率、F值、预测概率、ROC曲线和AUC 均方误差、决定系数
05-14
大家好，这个资源是关于机器学习_深度学习 的常见评估方法，例如混淆矩阵、正确率、精确率、召回率、F值、预测概率、ROC曲线和AUC | 均方误差、决定系数、SVR | 超参数的设置 | 模型的过拟合与防止等方法，包含完整...
机器学习学习记录【持续更新】——分类
01-20
本文主要探讨了分类问题中的几个核心概念，包括分类阈值、准确率、精确率、召回率、ROC曲线和AUC。 分类阈值在二元分类问题中扮演着重要角色。在逻辑回归模型中，模型会给出一个预测概率，例如，对于邮件是否为垃圾...
python机器学习教程-从零开始掌握Python机器学习：十四步教程.pdf
06-12
此外，了解评估指标，如准确率、精确率、召回率、F1分数、AUC-ROC曲线等，以便于衡量模型的优劣。 【深度学习】 随着计算能力的增强，深度学习已成为机器学习的重要分支，特别是卷积神经网络（CNN）在图像识别和...
机器学习中的混淆矩阵，准确率，精确率，召回率，F1，ROC/AUC，AP/MAP
Luoyingfeng的博客
06-20 6051
评价指标的引出 为什么要引出这么多评价指标，它是基于什么样的需求？ 在生活中，最常用的就是准确率，因为它定义简单而且比较通用，但在机器学习中，它往往不是评估模型的最佳工具， 特别是在数据分布不平衡的时候，请看一个例子： 比如我们训练了一个预测地震的模型，预测类别只有两个：0：不发生地震、1：发生地震，当前有100个测试集，如果模型地无脑把每一个测试用例都预测为0，那么它就达到99%的准确率，但实际上它并不具有预测的能力，为什么会出现这种情况？因为这里数据分布不平衡，类别为1的数据太少，完全分错类别1依然可以
深度学习--TensorFlow（5）BP神经网络（混淆矩阵、准确率、精确率、召回率、F值）
great_yzl的博客
10-09 5753
目录 一、混淆矩阵 二、准确率 三、召回率 四、精确率 五、综合评估指标 -- F值 一、混淆矩阵 也程误差矩阵，是表示精度评价的一种标准格式，用n行n列的矩阵形式来表示。在机器学习领域，混淆矩阵又称为可能性表格或者是错误矩阵。它是一种特定的矩阵用来呈现算法的效果。 后面准确率、召回率、精确率、F值的讲解，都以该例子进行计算： 二、准确率 准确率：识别成功的概率。 公式： 准确率比较好理解，难的是后面的召回率和精确率的理解。 ...
【模型评估】Python混淆矩阵、FP、FN、TP、TN、ROC、FROC、mAP、Precision、Recall、Accuracy、F1 score详述与实现
热门推荐
钱多多先森
08-14 4万+
深度学习中，模型评估常用的指标、实现算法汇总。后续还会有几个章节，对其中的各个小点进行详述
混淆矩阵中的准确率与召回率
baibingbingbing的博客
08-22 1万+
我们倾向于使用准确率，是因为熟悉它的定义，而不是因为它是评估模型的最佳工具！精度（查准率）和召回率（查全率）等指标对衡量机器学习的模型性能是非常基本的，特别是在不平衡分布数据集的案例中，在周志华教授的「西瓜书」中就特别详细地介绍了这些概念。 GitHub 地址：https://github.com/WillKoehrsen/Data-Analysis/blob/master/recall_pre...
混淆矩阵，准确率，精确率，召回率，F1值，ROC/AUC曲线的理解
tituszm
05-29 1万+
在机器学习中，对一个模型的学习能力好坏的评估，往往人为判断不容易直接得到结果，这时候就可以根据一些数据指标进行分析评估。对模型（分类器，学习器）的泛化能力进行评估，有衡量模型泛化能力的评价标准，被称为性能度量。 性能度量反应了人物需求，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果，这就意味着模型的"好坏"是相对的，什么样的模型是好的，不仅取决于算法和数据，还决定于任务需求。...
02_混淆矩阵、准确率（Accuracy）、精确率(Precision)、召回率(Recall)、F值(F-Measure) +Roc曲线和PR曲线+sklearn中分类模型评估API+ 自己补充整理
涂作权的博客
04-09 5003
一、准确率、精确率、召回率和F值是选出目标的重要评价指标。不妨先看看这些指标的定义： (1)若一个实例是正类，但是被预测成为正类，即为真正类(True Postive TP) (2)若一个实例是负类，但是被预测成为负类，即为真负类(True Negative TN) (3)若一个实例是负类，但是被预测成为正类，即为假正类(False Postive FP) (4)若一个实例是正类，但是被预测成为负...
pytorch进阶学习（七）：神经网络模型验证过程中混淆矩阵、召回率、精准率、ROC曲线等指标的绘制与代码
CV在读
04-14 8259
在机器学习领域，混淆矩阵（ConfusionMatrix），又称为可能性矩阵或错误矩阵。混淆矩阵是可视化工具，特别用于监督学习，在无监督学习一般叫做匹配矩阵。在图像精度评价中，主要用于比较分类结果和实际测得值，可以把分类结果的精度显示在一个混淆矩阵里面。在下图是否为猫的预测中，表格左上（实际为正和预测为正）和右下（实际为负和预测为负）是预测正确的值。根据左边表格的数据，可以得出右边表格中的数字，即得到了混淆矩阵。
【深度学习】【机器学习】分类结果分析指标和方法（混淆矩阵、TP、TN、FP、FN、精确率、召回率）（附源码）
专注于计算机视觉、目标检测、目标跟踪、分割、分类等方向
05-08 8809
模型分类效果主要是通过计算混淆矩阵已经准确率、召回率和F Score来分析，下面对以上指标进行详细的介绍。
混淆矩阵以及精确率召回率的计算
heihei2017的博客
06-27 2万+
混淆矩阵是用来总结一个分类器结果的矩阵。对于k元分类，其实它就是一个k x k的表格，用来记录分类器的预测结果。 对于最常见的二元分类来说，它的混淆矩阵是2乘2的，如下 TP = True Postive = 真阳性； FP = False Positive = 假阳性 FN = False Negative = 假阴性； TN = True Negative = 真阴性 比如我...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值