python：评估分类模型性能的常用指标（acc、auc、roc）

已于 2023-05-18 23:28:14 修改
阅读量3.8k 收藏 9
点赞数 1
分类专栏： python处理遥感数据 python Python机器学习专栏 文章标签： python 随机森林 分类
于 2023-05-03 18:42:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35591253/article/details/130475643
版权
python处理遥感数据 同时被 3 个专栏收录
47 篇文章 246 订阅 ¥29.90 ¥99.00
订阅专栏
Python机器学习专栏
23 篇文章 47 订阅 ¥79.90 ¥99.00
订阅专栏
python
39 篇文章 14 订阅
订阅专栏
本文介绍了使用Python计算分类模型性能的常用指标：准确率(ACC)、AUC和ROC曲线。通过scikit-learn库的accuracy_score、roc_auc_score和roc_curve函数，可以分别计算ACC、AUC并绘制ROC曲线，帮助评估模型在不同类别和阈值下的表现。
摘要由CSDN通过智能技术生成

本文记录了评估分类模型性能的常用指标ACC、AUC、ROC曲线的计算方法和代码。代码使用python实现。

简介

ACC（Accuracy）是模型的准确率，即模型正确预测的样本数占总样本数的比例。ACC 可以用来评估模型在整体上的分类效果，但它不能很好地反映模型在不同类别上的表现差异。

AUC（Area Under the Curve）是 ROC 曲线下的面积，可以用来评估模型在不同阈值下的分类效果。AUC 的取值范围在 0.5 到 1 之间，值越大表示模型性能越好。当 AUC = 0.5 时，表示模型预测效果与随机猜测一样；当 AUC = 1 时，表示模型完全正确地区分了正负样本。

ROC（Receiver Operating Characteristic）曲线是一种常用的评估分类模型性能的工具。ROC 曲线的横轴表示假正例率（False Positive Rate），即负样本被错误地预测为正样本的比例；纵轴表示真正例率（True Positive Rate），即正样本被正确地预测为正样本的比例。ROC 曲线越接近左上角，表示模型性能越好；曲线越接近对角线，则表示模型性能越差。

总之，ACC、AUC 和 ROC 都是用于评估分类模型性能的指标，不同的指标可以从不同的角度来评估模型的性能，使用时需要根据具体的问题和需求进行选择。

在这里插入图片描述

文章目录

了解本专栏 订阅专栏 解锁全文
_养乐多_
关注
专栏目录
订阅专栏
【模型评估】Python混淆矩阵、FP、FN、TP、TN、ROC、FROC、mAP、Precision、Recall、Accuracy、F1 score详述与实现
钱多多先森
08-14 4万+
深度学习中，模型评估常用的指标、实现算法汇总。后续还会有几个章节，对其中的各个小点进行详述
Tensorflow2.0：多分类评价指标 ROC、PRC 绘图、AUC 计算以及混淆矩阵绘制
cocofisher的博客
08-03 5916
文章目录项目准备python 代码1、导入需要的库2、建立 Dataset 测试集3、模型导入4、定义测试函数5、将多分类问题转化为单分类问题6、得到每个正例的置信度7、将上面两个函数结合起来8、将测试集输入模型进行测试9、定义 PRC 计算函数10、定义 ROC 计算函数11、计算图片标签和置信度12、计算精确率和召回率13、绘制 P-R 图14、计算 FPR 和 TPR15、绘制 ROC 图 项目准备 在绘图前，我们只需要有测试集以及训练好的网络模型（.h5 文件）即可。最终得到的图如下所示： py
Python作图中的AUC计算方法解析
我点评的博客
07-13 1449
在本文中，我们将介绍AUC的基本概念和计算方法，并且提供一些使用Python进行AUC计算的实例。在本文中，我们介绍了Python作图中AUC的基本概念和计算方法，同时提供了一个简单的使用Python进行AUC计算的实例。在得到ROC曲线之后，我们可以计算ROC曲线下的面积来得到AUC值。AUC是一个在[0,1]区间内的数值，用来衡量一个分类算法在不同的阈值下的性能。该函数会返回ROC曲线下的面积，即AUC值。AUC的计算方法主要分为两步，首先需要计算ROC曲线，然后再计算ROC曲线下的面积。
数据挖掘-分类器的ROC曲线及相关指标（ROC、AUC、ACC）详解
身披白袍的博客
09-19 2万+
ROC曲线，常常与二分类问题及两类错误率相关。
Python机器学习：评价指标
faltas的博客
03-30 1350
评价指标
机器学习评价指标 ROC与AUC 的理解和python实现
张渊猛的博客
08-15 2万+
本文所讲内容的前提是一个二分类的任务，多分类任务可以经过简单扩展用转化成二分类。 评估一个二分类的分类器的性能指标有：准确率、查准率（precision）、查全率（recall）、F1值以及ROC和AUC等。前面几个比较直观，而ROC和AUC相对抽象一点，本文将重点放在后者。因为本文曾一度没搞清ROC，所以这次彻底搞明白。 从混淆矩阵说起 首先一个用分类器预测完后，我们会得到一个二分类的混淆...
ACC、AUC、auPR
weixin_44203980的博客
03-20 1086
1. test acc： 模型正确预测的样本占总样本的比例。 如果该样本中零值大概是73%的比例，test acc高而auc低说明模型没学到有用的信息，将所有样本都判断为0都有73%的正确率，更何况随机猜测(auc=0.5)，因此准确率会稍高于73% 2. AUC： ROC曲线下的面积，ROC曲线是真阳率（True Positive Rate, TPR）对假阳率（False Positive Rate, FPR）的图表表示。AUC越高，意味着模型对正负样本的区分能力越强（能把正样本找全）。
python + sklearn ︱分类效果评估——acc、recall、F1、ROC、回归、距离
热门推荐
素质云笔记
07-16 8万+
之前提到过聚类之后，聚类质量的评价： 聚类︱python实现 六大 分群质量评估指标（兰德系数、互信息、轮廓系数） R语言相关分类效果评估： R语言︱分类器的性能表现评价（混淆矩阵，准确率，召回率，F1,mAP、ROC曲线）.一、acc、recall、F1、混淆矩阵、分类综合报告1、准确率第一种方式：accuracy_score# 准确率 import numpy as np from skl
python:Sklearn SVM使用留一法时如何绘制ROC曲线与计算AUC
qq_38941890的博客
06-07 4412
在前面的一篇文章我们给出了使用Sklearn 中的SVM进行分类时如何使用留一法来进行分类。 python基于sklearn的SVM和留一法（LOOCV）进行二分类 如何在使用留一法时绘制ROC曲线和AUC 什么是ROC曲线和？这个可以参考如下的文章。 部分内容摘抄于此 ROC曲线与AUC面积定义原文链接 ROC曲线，全称The Receiver Operating Characteristic Curve，译为受试者操作特性曲线。这是一条以不同阈值下的假正率FPR为横坐标，不同阈值下的召回率Recall
分类模型的算法性能评价原理阐述、代码实现
最新发布
07-08
通过上述分析可以看出，选择合适的性能评估指标对于理解和优化分类模型至关重要。不同的指标侧重于不同的方面，因此在实际应用中应根据具体需求灵活选择。此外，通过可视化工具如ROC曲线，可以更加直观地理解模型的...
机器学习常用评价指标：ACC、AUC、ROC曲线
shiaiao的博客
10-06 5万+
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、混淆矩阵二、评价指标1.准确度（Accuracy）总结欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一
AUC、ROC、ACC区别
上下求索
05-25 2万+
很多时候我们都用到ROC（receiver operating characteristic curve，受试者工作特征曲线）和AUC(Area Under Curve,被定义为ROC曲线下的面积)来评判一个二值分类器的优劣，其实AUC跟ROC息息相关，AUC就是ROC曲线下部分的面积，所以需要首先知道什么是ROC，ROC怎么得来的。然后我们要知道一般分类器会有个准确率ACC，那么既然有了
深度学习分类任务常用评估指标——总结（重点）
Fighting Hua
09-18 1717
一、分类模型指标 1 准确率和错误率（该指标评价的前提样本分布平衡） 准确率和错误率既可用于二分类也可用于多分类： 下述公式是准确率、错误率针对二分类情况时候的计算公式 1.1 准确率（该指标评价的前提样本分布平衡） 针对 所有类别 ，计算acc，其计算公式如下： 理解： 在样本（测试集）中所有预测正确的类别个数 与 所有样本的比值，它是针对所有的类别计算的。 精确率和准确率是比较容易混淆的两个评估指标，两者是有区别的。精确率是一个二分类指标，而准确率能应用于多分类，其计算公式为（对分类）： 1.2 错
sklearn工具包---分类效果评估（acc、recall、F1、ROC、回归、距离）
飘过的春风
11-21 1万+
一、acc、recall、F1、混淆矩阵、分类综合报告 1、准确率 第一种方式：accuracy_score # 准确率 import numpy as np from sklearn.metrics import accuracy_score y_pred = [0, 2, 1, 3,9,9,8,5,8] y_true = [0, 1, 2, 3,2,6,3,5,9] #共9个数据，3个...
文本分类_acc分数异常
qq_25992377的博客
03-21 277
在照搬别人的参数时候，nn.LSMT中有一个参数，batch_first，对它设置了True，于是分数直接下降了70个点。查阅过之后，发现是nn.LSTM中的batch_first是指它接受输入时，会将第一维的位置，认为是batch。为了验证写了一个小例子。 为了方便观察，设置了batch为4，句子最长长度为11 读入数据 file_path="E:/study_series/2020_3_dat...
机器学习——不平衡分类指标
夏未眠秋风起的博客
04-13 3542
准确率（acc），代表分对的样本占所有样本的比例，在不平衡分类中不可信，比如当样本比例为99:1的时候，只需要让多数类都分对，准确率就可以达到99%，但实际上少数类却被全部分错了。 查准率，又叫精确率，用查准率比较好理解，字面理解就是查的准不准，就是希望我判断为真的样本，有哪些是确实的是正的样本 召回率(Recall, TNR, sensitivity)，就是实际为正的样本中有多少...
AUC、ACC、F1、准确率、召回率
qq_44783689的博客
12-01 1万+
准确率 - accuracy 精确率 - precision 召回率 - recall F1值 - F1-score ROC曲线下面积 - ROC-AUC （area under curve） PR曲线下面积 - PR-AUC 1 、auc AUC（Area Under Curve）被定义为ROC曲线下与坐标轴围成的面积，这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。AUC越接近1.0，检测方法真实性越高;等于0.5时，则真实性最低，无应用价
推荐算法评价指标(ACC、查全率、查准率、F1-Score、ROC、AUC,P-R)
traveler-leon的博客
04-27 1万+
推荐系统的评价指标很多，今天介绍：准确率(ACC)、查准率(P精确率)、查全率(R召回率)、F1-score、ROC、AUC
总结的几篇深度学习调参经验---综合
TEDDY的博客
05-13 477
一. 初始化有人用normal初始化cnn的参数，最后acc只能到70%多，仅仅改成xavier，acc可以到98%。 或者直接用预训练模型，采用百度工程师推荐的warmup，然后再 finetune，怎么finetune，看我以前的文章。 二.从理解CNN网络以产生直觉去调参数的角度考虑，应该使用可视化 可视化（知乎用户 杨军） 刚开始, 先上小规模数据, 模型往大了放, 只要不爆显存, 能用256个filter你就别用128个. 直接奔着过拟合去. 没错, 就是训练过拟合网络, 连测试集...
python实现AUC和ACC
06-03
AUC和ACC是衡量分类模型性能的指标，可以使用Python实现。 首先，AUC（Area Under the Curve）是ROC曲线下的面积，可以使用sklearn库中的roc_auc_score函数来计算。 例如，假设我们有真实标签y_true和模型预测的概率值y_pred： ```python from sklearn.metrics import roc_auc_score auc = roc_auc_score(y_true, y_pred) print('AUC:', auc) ``` 接下来，ACC（Accuracy）是分类模型预测正确的样本数与样本总数的比例，可以使用sklearn库中的accuracy_score函数来计算。 例如，假设我们有真实标签y_true和模型预测的类别y_pred： ```python from sklearn.metrics import accuracy_score acc = accuracy_score(y_true, y_pred) print('ACC:', acc) ``` 注意，这些函数的输入参数需要是一维数组或者列表。如果是二维数组，则需要先将其转换为一维数组。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

_养乐多_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值