如何加理解（两个模型）准确率（ACC）和AUC变化不一致

最新推荐文章于 2024-12-23 00:18:41 发布
最新推荐文章于 2024-12-23 00:18:41 发布
阅读量4.2k 收藏 4
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nixiang_888/article/details/116191478
版权
本文探讨了在二分类模型中，AUC（曲线下面积）和正确率（ACC）可能存在不一致的情况。模型A正确率85%，AUC 0.98，模型B正确率93%，AUC 0.92。文章指出，正确率依赖于特定截断值，而AUC综合所有截断值，更适合处理偏态样本。因此，建议依据AUC选择模型，推荐使用AUC作为评估和比较分类器的单一指标。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 问题

当我们建立两个模型都是二分类的，并应用常见的Logistic回归模型得到结果如下：模型A的正确率为85%，AUC为0.98；模型B的正确率为93%，AUC为0.92。那么选择哪个模型呢？

很多朋友首先应该会质疑方法使用的正确性，不过出现这个问题的可能性很小，我们假设方法是正确的，主要探讨AUC和正确率矛盾的问题。

查阅文献，发现不少朋友也遇到同样的问题，更巧的是已有学者通过模拟研究证实矛盾的存在。下面图表中的最后一列展示的正是AUC和正确率结论的一致比例，较低可达93.5%。
在这里插入图片描述

2. 解释

接着我们从简单的理论出发解释一下，两者出现矛盾的可能原因。正确率是基于较佳的截断值计算的，所以很多朋友觉得他应该可靠。但是他们可能不知道， AUC是基于所有可能的截断值计算的，AUC应该更加稳健 。

怎么理解“稳健”这个词呢？
我们可以理解为计算正确率时所基于的较佳截断值并不是总体分布中的较佳截断值，正确率只是某个随机样本的一个属性指标。而AUC不关注某个截断值的表现如何，可以综合所有截断值的预测性能，所以正确率高，AUC不一定大，反之亦然。

“The implicit goal of AUC is to deal with situations where you have a skewed sample distr

最低0.47元/天 解锁文章
python：评估分类模型性能的常用指标（acc、auc、roc）
养乐多的博客
05-03 4157
本文记录了评估分类模型性能的常用指标ACC、AUC、ROC曲线的计算方法和代码。代码使用python实现。
预测任务评价指标acc,auc
virus111222的博客
03-08 4925
1、分别表示什么TP（true positive）：表示样本的真实类别为正，最后预测得到的结果也为正；FP（false positive）：表示样本的真实类别为负，最后预测得到的结果却为正；FN（false negative）：表示样本的真实类别为正，最后预测得到的结果却为负；TN（true negative）：表示样本的真实类别为负，最后预测得到的结果也为负.
数据挖掘-分类器的ROC曲线及相关指标（ROC、AUC、ACC）详解
身披白袍的博客
09-19 2万+
ROC曲线，常常与二分类问题及两类错误率相关。
模型性能评价指标之AUC
songbinxu的博客
04-11 1万+
模型性能评价指标之AUC 一、准确率和召回率 1.1 定义 在讨论ROC之前，先介绍准确率（Precision）和召回率（Recall）的概念。 - 预测+ 预测- 真实+ TP（真正例） FN（假反例） 真实- FP（假正例） TN（真反例） 准确率P的意义是，预测为+的样本里，真实label为+的样本比例 P=T...
ACC、AUC、auPR
weixin_44203980的博客
03-20 1556
1. test acc： 模型正确预测的样本占总样本的比例。 如果该样本中零值大概是73%的比例，test acc高而auc低说明模型没学到有用的信息，将所有样本都判断为0都有73%的正确率，更何况随机猜测(auc=0.5)，因此准确率会稍高于73% 2. AUC： ROC曲线下的面积，ROC曲线是真阳率（True Positive Rate, TPR）对假阳率（False Positive Rate, FPR）的图表表示。AUC越高，意味着模型对正负样本的区分能力越强（能把正样本找全）。
机器学习常用评价指标：ACC、AUC、ROC曲线
热门推荐
shiaiao的博客
10-06 7万+
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、混淆矩阵二、评价指标1.准确度（Accuracy）总结欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一
AUC、ACC、F1、准确率、召回率
qq_44783689的博客
12-01 1万+
准确率 - accuracy 精确率 - precision 召回率 - recall F1值 - F1-score ROC曲线下面积 - ROC-AUC （area under curve） PR曲线下面积 - PR-AUC 1 、auc AUC（Area Under Curve）被定义为ROC曲线下与坐标轴围成的面积，这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。AUC越接近1.0，检测方法真实性越高;等于0.5时，则真实性最低，无应用价
ACC和AUC在ATR算法评估中的应用.pdf
08-10
在对自动目标识别(ATR)算法进行评估时，准确性(ACC)和曲线下面积(AUC)是两种重要的性能指标。ACC是衡量分类器正确分类样本所占比例的标准指标，其计算简单直观，能有效地反映分类器对样本进行分类的准确度。然而，仅...
关于机器学习评价指标AUC，召回率，准确率（ACC），MRR的白话讲解
HaLosec_Wei
10-19 1万+
准确率（ACC） 指在分类中，使用测试集对模型进行分类，分类正确的记录个数占总记录个数的比例，计算公式如下所示： 其中，代表分类正确的记录个数，代表全部测试数据的个数   ROC曲线下方的面积大小（AUC） AUC（Area Under Curve）[3]被定义为ROC曲线下的面积，使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，...
多分类机器学习评价指标之准确率、精确率、召回率、F1值、ROC、AUC
qwe1110的博客
12-04 2万+
准确率、精确率、召回率、F1值 定义： 准确率（Accuracy）：正确分类的样本个数占总样本个数， A = (TP + TN) / N 精确率（Precision）：预测正确的正例数据占预测为正例数据的比例， P = TP / (TP + FP) 召回率（Recall）：预测为正确的正例数据占实际为正例数据的比例， R = TP / (TP + FN) F1 值（F1 score...
AUC、ROC、ACC区别
Jessica__Chan的博客
02-25 3279
很多时候我们都用到ROC（receiver operating characteristic curve，受试者工作特征曲线）和AUC(Area Under Curve,被定义为ROC曲线下的面积)来评判一个二值分类器的优劣，其实AUC跟ROC息息相关，AUC就是ROC曲线下部分的面积，所以需要首先知道什么是ROC，ROC怎么得来的。然后我们要知道一般分类器会有个准确率ACC，那么既然有了ACC，...
[机器学习] 性能评估指标（精确率、召回率、ROC、AUC)
weixin_30486037的博客
12-13 290
混淆矩阵介绍这些概念之前先来介绍一个概念：混淆矩阵（confusion matrix）。对于 k 元分类，其实它就是一个k x k的表格，用来记录分类器的预测结果。对于常见的二元分类，它的混淆矩阵是 2x2 的。假设要对 15 个人预测是否患病，使用 1 表示患病，使用 0 表示正常。预测结果如下：预测值：111110000011101真实值：0110110010...
AUC用于二分类为啥比accuracy更常用？
fredinators的博客
03-30 4289
很多机器学习的模型对于分类问题的预测结果都是概率，如果计算accuracy，需要把概率转换为类别，这就需要手动设置一个阈值。高于该阈值放入A类，低于该阈值放入B类。该阈值很大程度上影响accuracy的计算。AUC可以避免将概率转换成类别。ROC：x轴-FP，y轴-TPAUC的含义：从所有1（0）样本中随机选择一个样本，放入分类器进行预测，预测1-->1的概率为p1，预测0-->1的概...
pytorch加载的模型测试的结果和保存时测试的结果不一致
Mr.horse的博客
11-11 9400
假设有一个dropout网络net，训练过程中用测试集进行了测试，接着将该网络进行了保存 torch.save(net.state_dict(), path) 然后将保存的网络加载出来： net=class_net() # 先定义net的结构 net.load_state_dict(torch.load(path)) 接着用同样的测试集进行测试，发现测试结果和保存时的结果不一致，这是...
模型auc指标_auc致命缺陷模型指标
weixin_26750481的博客
09-28 3132
模型auc指标by John Elder, Ph.D., Founder & Chairman, Elder Research 作者：John Elder，博士，Elder Research创始人兼董事长 The blog Recidivism, and the Failure of AUC published on Statistics.com showed how the use o...
深度模型参数save & load 遇到的各种问题
小幸运
09-22 679
1. torch版本问题 1.1 torch1.5版本及以下 import torch ## 模型参数保存 torch.save(model.state_dict(),'checkpoint/xxx.pth') ## 模型参数加载 args = torch.load('checkpoint/xxx.pth') # 参数读取 model_state_dict = model.state_dict() for key in args: if key in model_state_dict: mod
load预训练模型后，测试准确率很低问题自查
qq_36228172的博客
06-15 3056
今天遇到了这样一个问题，做神经网络量化的过程中，load训练好的高精度模型作为pretrain model，然后立即test accuracy为10%，以下为几个可能出现问题的点： 查看load模型的路径有无问题 查看加载的数据集有无问题（有时会出现用svhn数据集去验证cifar10数据集的事件） 查看load模型当时在训练时的acc： info = torch.load('modelpath') info.keys() # 列出保存checkpoints时的所有参数,包括best_acc info[
Tensorflow使用save保存模型后，使用evaluate时accuracy数据与原来差距太大
L_cherry_的博客
12-11 2418
参考链接：https://blog.csdn.net/lly1122334/article/details/118901557 学习模型保存时，使用保存完整模型的save方法后，再使用evaluate函数评估模型，得到的loss结果与原来一致，但是accuracy结果却相去甚远，寻求半天解决办法后得知，当损失函数使用 sparse_categorical_crossentropy，但是正确率的度量指标为metrics=['acc]就会出现这样的错误。 因此！！！当训练时损失函数使用 sparse_categ
机器学习常用评估Metric（ACC、AUC、ROC）
0101 0010 0000
12-23 777
机器学习相关评估指标及概念扫盲：ACC、Recall、Precision、F1、AUC、ROC
AUC、ACC、F1、准确率、召回率 实战
最新发布
01-16
### AUC、ACC、F1、准确率、召回率的应用场景及计算方式 #### 一、AUC (Area Under the Curve) AUC表示ROC曲线下方的面积，其取值范围通常在0.5到1之间。这一指标用于评估二元分类器的整体性能，在不同阈值下综合考虑真正率(True Positive Rate, TPR)和假正率(False Positive Rate, FPR)[^2]。 对于实战应用而言，当面对数据集不平衡的情况时，即某一类别样本显著多于另一类别，此时使用AUC作为评价标准更为合理。因为即使模型预测大多数为多数类也能获得较高的准确度，但这并不代表模型具有良好的泛化能力。而通过观察整个ROC曲线及其下方区域大小(AUC)，可以更全面地理解模型区分两类的能力。 Python代码实现： ```python from sklearn.metrics import roc_auc_score import numpy as np # 假设y_true是真实标签,y_scores是概率估计或决策函数得分 auc_value = roc_auc_score(y_true, y_scores) print(f"AUC Value: {auc_value}") ``` #### 二、ACC (Accuracy) 准确性指的是被正确分类的数据点所占比例。尽管简单易懂，但在处理不均衡数据集时可能会给出误导性的高分。因此，在某些情况下可能不是最佳的选择。 计算公式: \[ \text{Accuracy}=\frac{\text{TP+TN}}{\text{P+N}}\] 其中 TP 表示 True Positives（真阳性），TN 表示 True Negatives （真阴性）， P 和 N 分别指代总共有多少个正例和反例。 Python代码实现： ```python from sklearn.metrics import accuracy_score accuracy = accuracy_score(y_true, y_pred) print(f"Accuracy Score: {accuracy:.4f}") ``` #### 三、F1-Score F1值是对Precision（精度）与Recall（召回率）的一种加权调和平均数，能够平衡两者之间的关系并提供更加稳健的结果。特别是在存在类别失衡的情况下,F1分数往往比单独依赖 Precision 或 Recall 更具代表性[^1]。 计算公式: \[ F_1=2\times(\frac{{Precision}\times{Recall}}{{Precision}+{Recall}})\] Python代码实现： ```python from sklearn.metrics import f1_score f1 = f1_score(y_true, y_pred, average='binary') print(f"F1 Score: {f1:.4f}") ``` #### 四、Recall (召回率) 召回率反映了模型识别所有实际存在的正向实例的能力。具体来说就是从所有真实的正样例中找出的比例有多少被成功检测出来了。这对于那些误报成本较低但是漏检代价高昂的任务非常重要，比如医疗诊断领域中的疾病筛查等[^3]。 计算公式: \[ \text{Recall}= \frac{\text{TP}}{\text{TP + FN}}\] 这里FN代表False Negatives（假阴性） Python代码实现： ```python recall = recall_score(y_true, y_pred, average='binary') print(f"Recall Score: {recall:.4f}") ``` #### 五、Precision (精确率) 精确率关注的是在所有被判定为正向的例子中有多少确实是真正的正向案例。它适用于希望减少错误肯定情况发生的场合，例如垃圾邮件过滤系统里尽可能避免把正常邮件错判成垃圾邮件[^4]。 计算公式: \[ \text{Precision}=\frac{\text{TP}}{\text{TP + FP}}\] FP表示False Positives（假阳性） Python代码实现： ```python from sklearn.metrics import precision_score precision = precision_score(y_true, y_pred, average='binary') print(f"Precision Score: {precision:.4f}") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值