模型泛化能力的评估（准确率、精确率、召回率、F1、ROC、AUC）与代码实现

已于 2022-08-19 10:21:58 修改
阅读量5.9k 收藏 23
点赞数 2
分类专栏： 机器学习 文章标签： 机器学习 python 分类
于 2022-06-05 16:41:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AAAAAAABBgg/article/details/125132880
版权
本文详细介绍了模型泛化能力的评估指标，包括准确率、精确率、召回率、F1分数以及ROC曲线和AUC值。在不同的业务场景下，这些指标各有侧重，例如在关注误报风险时，召回率显得尤为重要。理解这些指标有助于选择和优化模型，以适应具体的应用需求。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

模型泛化能力的评估

泛化能力指训练好的模型在测试集上的表现
指标：准确度、精确率、召回率、F1值、ROC、AUC等。
对于二分类问题，有混淆矩阵：

实际结果 1 实际结果 0
预测结果 111（TP) 10 (FP)
预测结果 001(FN) 00 (TN)

T----True; F—False; P(positive) =1; N(Negative) =0
注: 先看预测结果（P/N），再针对实际结果对比预测结果，给出判断结果（T/F）

准确率（Accuracy）

定义
预测正确的结果占总样本的百分比
准确率 = (TP + TN) / (TP + TN + FP + FN)
特点
可以判断总的正确率，但在样本不均衡的情况下，并不能很好的来衡量结果。

from sklearn.metrics import accuracy_score
accuracy(y_test, y_pred)

精确率（Precision）（查准率）

定义
针对预测结果而言，含义是在所有被预测为正的样本中实际为正的样本的概率。
精确度 = TP/(TP+FP)
准确率与精确率的区别
准确率代表整体的预测准确程度，包含正样本和负样本；
精确率代表对正样本结果中的预测准确程度。

召回率（Recall）（查全率）

定义
针对原样本而言，在实际为正的样本中被预测为正的概率。
召回率 = TP/(TP+FN)

F1分数（F1-Score)

精确率和召回率可通过P-R图表示，两者是矛盾，无法做到双高。
F1-Score可以同时考虑精确率和召回率，让两者同时达到最高，取得平衡。
平衡点： F1-Score = 2PrecisionRecall / (Precision + Recall)

ROC曲线和AUC曲线----不受样本失衡影响

TPR（真正率）= TP/(TP+FN) : 模型预测覆盖的程度
FPR（假正率） = FP/(FP+TN) : 模型虚报的程度
这两个指标分别针对不同类别计算，不会受到样本不平衡的影响。
ROC曲线
FPR为横坐标，TPR为纵坐标
TPR越大越好，FPR越小越好
因此ROC曲线越好越陡峭
AUC曲线
取值：[0.5, 1]
定义：表示ROC曲线下面的面积，用于判断模型的优劣
AUC判别标准：
0.5~0.7 : 效果较低
0.7~0.85 ： 效果一般
0.85~0.95 ： 效果很好
0.95~1 ： 效果非常好

代码实现

from sklearn.metrics import classification_report
model.score(y_test, y_pred)
model.classification_report(y_test, y_pred)

总结

我在学这一块儿知识的时候会有疑惑：这么多指标到底看哪一个呢？
通常在选择最优模型时看的Accuracy和loss。后来接触了实际的项目发现，一个模型的部署要考虑其业务场景，比如当误报的风险比较大，漏报的风险不是很大时，要考虑Recall(这个要看具体的0和1是怎么指定的)。有些业务场景只需要全局的准确率足够高即可。

理论参考 《西瓜书》 BY 周志华
代码参考：github: datawhalechina
机器学习笔记

【人工智能机器学习基础篇】——深入详解监督学习之模型评估：掌握评估指标（准确率、精确率、召回率、F1分数等）和交叉验证技术
编程技术探索者，分享C/C++、C#、Java、数据库等开发经验，聚焦实战技巧与AI兴趣，助力编程爱好者成长。
12-30 1471
【人工智能机器学习基础篇】——深入详解监督学习之模型评估：掌握评估指标（准确率、精确率、召回率、F1分数等）和交叉验证技术
详解准确率、精确率、召回率、F1值等评价指标的含义
热门推荐
谓之小一
01-31 3万+
机器学习问题之中，通常需要建立模型来解决具体问题，但对于模型的好坏，也就是模型的泛化能力，如何进行评估呢？ 很简单，我们可以定一些评价指标，来度量模型的优劣。比如准确率、精确率、召回率、F1值、ROC、AUC等指标，但是你清楚这些指标的具体含义吗？下面我们一起来看看吧。 1.混淆矩阵 介绍各个指标之前，我们先来了解一下混淆矩阵。假如现在有一个二分类问题，那么预测结果和实际结果两两结合会出现如下四种...
模型评估思想
abc1234564546的博客
07-28 267
关于模型评估
经典回顾：模型测试集评价指标（模型泛化能力）
rgb_gray的博客
09-23 3749
目录混淆矩阵正确率(accuracy)准确率(precision)召回率(recall)F1值为什莫要采用调和平均数？相关参数选择灵敏度(sensitivity)特异度(specificity)1 - 特异度ROC曲线AUC(area under curve)参考资料： 混淆矩阵 - 预测为真 预测为假 标签为真 TP FN 标签为假 FP TN 正确率(accuracy) accuracy=TP+TNTP+FP+FN+TNaccuracy= \frac {TP+TN}{TP+FP+
衡量模型泛化能力的评价标准
vvyuervv的博客
03-23 2万+
性能度量：衡量模型泛化能力的评价标准。模型的“好坏”是相对的，他不仅取决于算法和数据，还取决于任务需求。回归任务常用的性能度量是“均方误差”。1. 错误率与精度错误率与精度是分类任务中最常用的两种性能度量。既适用于二分类，也适用于多分类。 错误率：分类错误的样本数占总样本数的比例。 精度 ： 分类正确的样本数占总样本数的比例。 精度 + 错误率 = 1 假设，总的样本数为m个，
[DataAnalysis]机器学习预测模型评估与性能度量——衡量模型泛化能力的指标
TOMACAT的博客
08-12 3万+
一、回归任务 在预测任务中，给定样例，要评估学习器的性能，就要把预测结果与真实标记与进行比较。回归任务中最常用的性能度量是“均方误差”（mean squared error，MSE)。下面我们主要介绍分类任务中常用的性能度量。 二、分类任务 1、错误率与精度 错误率是分类错误的样本数占样本总数的比例，精度则是分类正确的样本数占样本总数的比例。 2、查准率、查全率与F1 （1）查准率Pr...
评估方法提高深度学习模型泛化能力
qq_41430572的博客
04-06 5462
三种经典的评估方法提高模型泛化能力 ①留出验证：评估模型时，将数据划分为训练集、验证集、测试集。（比较适合大数据集） 在训练数据上训练模型，在验证数据上评估模型，最后在测试数据上测试最佳参数的模型。 划分为三个集合而非两个集合：训练集和测试集，是因为在模型设计时一般需要调节模型超参数，比如隐藏层数、每层神经元数等等，在这个调节学习的过程中会以验证集的性能作为反馈； 每次通过验证集调节模型...
机器学习评估分类结果——精准率、召回率、F1Score
m0_58700887的博客
06-30 6215
机器学习评估分类结果——混淆矩阵、精准率、召回率、F1Score
精确率、召回率、F1 值、ROC、AUC等分类模型评价指标含义与作用详解
weixin_45459911的博客
03-30 1万+
文章目录摘要一、精确率、召回率、F函数、准确率和错误率1、定义2、区别与应用二、ROC曲线、P-R曲线、AUC1、P-R曲线2、ROC曲线3、AUC 摘要 在涉及机器学习领域的分类问题时（尤其是衡量推荐系统性能时），经常会遇到诸如准确率、召回率、ROC、AUC等名词。本文就来详细阐述一下各类评价指数的具体含义和特点。 一、精确率、召回率、F函数、准确率和错误率 1、定义 结合混淆矩阵进行说明 1...
ROC与AUC最通俗的解释，准确率，错误率 精准率 召回率，ROC，AUC 的区别和联系
王爷的CSDN
08-24 1万+
前言 本文内容大部分来自于如下两个博客：http://blog.csdn.net/dinosoft/article/details/43114935http://my.oschina.net/liangtee/blog/340317 首先，所有的定义均来自下面的图，一定要理解好。 1 精准率和召回率，通常用在搜索的评价场合。 精准率表示:应该被搜索到的而且实际也搜索出来的...
个人总结：机器学习分类模型评估指标 准确率、精确率、召回率、F1等以及关联规则支持度、置信度
yyhhlancelot的博客
06-25 9134
机器学习分类中的常用指标，这几个指标最大的特点，其实是容易看完就忘。。 英文 TP true positive， 前面的字母代表预测是否正确，后面的字母代表预测的类型，TP是预测正确的正例，预测为1实际也为1 TN true negative预测正确的负例，预测为0实际也为0 FP false positive预测错误，预测为正例，实际为负例，所以是预测错误的负例，预测为1实际为0 FN...
分类模型评价指标:精确率、召回率及P-R曲线、ROC曲线具体实现(附详尽代码)
读万卷书 行万里路
12-30 6275
1.评价指标定义(二分类) 对于二分类问题，可将样例根据其真实类别与学习器预测的类别组合成混淆矩阵。在该矩阵中，矩阵中的行代表样例的真实类别，矩阵中的列代表预测器预测的类别(行和列所代表的可以互相交换)。
混淆矩阵、AUC与ROC曲线及代码实现
小木的博客
01-21 7952
一. 混淆矩阵 Confusion Matrix Predict True False Real True True Positive False Positive False False Negative True Negative 准确率 (Accuracy) acc=TP+TNT...
ROC, AUC 以及 Python实现AUC计算
jose_M的博客
04-17 2793
本文主要对ROC，AUC概念进行介绍，并且用Python手动实现AUC的计算 对于一个二分类分类器来说，对于任意样本，我们都可以得到该样本属于正例的概率。我们可以根据这个概率对所有样本进行排序，“最可能”是正例的排在最前面，“最不可能”是正例的排在最后面，分类过程就相当于选择某个“截断点”将所有样本分成两类。只是我们一般选取0.5为这个截断点，属于正例的概率大于0.5的就认为该样本为正例，属于...
模型泛化能力是什么意思
qq_42112018的博客
03-05 5155
模型泛化能力是指模型在未曾见过的数据上的表现能力，也就是模型对于新的数据的适应能力。
机器学习南瓜书_机器学习西瓜书简明笔记（2-1）性能度量
weixin_42334285的博客
01-07 285
本篇主要是对第二章剩余知识的理解，包括：性能度量、比较检验和偏差与方差。在上一篇中，我们解决了评估学习器泛化性能的方法，即用测试集的“测试误差”作为“泛化误差”的近似，当我们划分好训练/测试集后，那如何计算“测试误差”呢？这就是性能度量，例如：均方差，错误率等，即“测试误差”的一个评价标准。有了评估方法和性能度量，就可以计算出学习器的“测试误差”，但由于“测试误差”受到很多因素的影响，例如：算法随...
模型的泛化能力--正则化
weixin_43143419的博客
06-15 1万+
1.https://www.jianshu.com/p/ecb531b1ab8f
推荐召回模型评估指标（AUC、HR、F1、Precision、Recall）代码实现
silentkunden的博客
07-31 2092
AUC计算的关键是找到所有正样的预测值大于负样本预测值的正负样本对。Precision就是召回了K个item，K个item中被点击了n个，那么Precision=n/K。Recall是用户点击的M个item中，k个物品是在召回模型推荐列表的，那么Recall=k/M。N为样本的总数，m为正例的个数。...
AUC、ACC、F1、准确率、召回率 实战
最新发布
01-16
### AUC、ACC、F1、准确率、召回率的应用场景及计算方式 #### 一、AUC (Area Under the Curve) AUC表示ROC曲线下方的面积，其取值范围通常在0.5到1之间。这一指标用于评估二元分类器的整体性能，在不同阈值下综合考虑真正率(True Positive Rate, TPR)和假正率(False Positive Rate, FPR)[^2]。 对于实战应用而言，当面对数据集不平衡的情况时，即某一类别样本显著多于另一类别，此时使用AUC作为评价标准更为合理。因为即使模型预测大多数为多数类也能获得较高的准确度，但这并不代表模型具有良好的泛化能力。而通过观察整个ROC曲线及其下方区域大小(AUC)，可以更全面地理解模型区分两类的能力。 Python代码实现： ```python from sklearn.metrics import roc_auc_score import numpy as np # 假设y_true是真实标签,y_scores是概率估计或决策函数得分 auc_value = roc_auc_score(y_true, y_scores) print(f"AUC Value: {auc_value}") ``` #### 二、ACC (Accuracy) 准确性指的是被正确分类的数据点所占比例。尽管简单易懂，但在处理不均衡数据集时可能会给出误导性的高分。因此，在某些情况下可能不是最佳的选择。 计算公式: \[ \text{Accuracy}=\frac{\text{TP+TN}}{\text{P+N}}\] 其中 TP 表示 True Positives（真阳性），TN 表示 True Negatives （真阴性）， P 和 N 分别指代总共有多少个正例和反例。 Python代码实现： ```python from sklearn.metrics import accuracy_score accuracy = accuracy_score(y_true, y_pred) print(f"Accuracy Score: {accuracy:.4f}") ``` #### 三、F1-Score F1值是对Precision（精度）与Recall（召回率）的一种加权调和平均数，能够平衡两者之间的关系并提供更加稳健的结果。特别是在存在类别失衡的情况下,F1分数往往比单独依赖 Precision 或 Recall 更具代表性[^1]。 计算公式: \[ F_1=2\times(\frac{{Precision}\times{Recall}}{{Precision}+{Recall}})\] Python代码实现： ```python from sklearn.metrics import f1_score f1 = f1_score(y_true, y_pred, average='binary') print(f"F1 Score: {f1:.4f}") ``` #### 四、Recall (召回率) 召回率反映了模型识别所有实际存在的正向实例的能力。具体来说就是从所有真实的正样例中找出的比例有多少被成功检测出来了。这对于那些误报成本较低但是漏检代价高昂的任务非常重要，比如医疗诊断领域中的疾病筛查等[^3]。 计算公式: \[ \text{Recall}= \frac{\text{TP}}{\text{TP + FN}}\] 这里FN代表False Negatives（假阴性） Python代码实现： ```python recall = recall_score(y_true, y_pred, average='binary') print(f"Recall Score: {recall:.4f}") ``` #### 五、Precision (精确率) 精确率关注的是在所有被判定为正向的例子中有多少确实是真正的正向案例。它适用于希望减少错误肯定情况发生的场合，例如垃圾邮件过滤系统里尽可能避免把正常邮件错判成垃圾邮件[^4]。 计算公式: \[ \text{Precision}=\frac{\text{TP}}{\text{TP + FP}}\] FP表示False Positives（假阳性） Python代码实现： ```python from sklearn.metrics import precision_score precision = precision_score(y_true, y_pred, average='binary') print(f"Precision Score: {precision:.4f}") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值