关于AUC/ROC，F1-score，recall, precision的一些总结

最新推荐文章于 2023-08-23 11:02:15 发布
最新推荐文章于 2023-08-23 11:02:15 发布
阅读量879 收藏
点赞数
文章标签： 机器学习 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43964345/article/details/105261993
版权
本文总结了AUC/ROC、F1-score、recall和precision的概念，通过实例解释了这些评价指标在机器学习和数据挖掘中的作用。特别指出，高召回率（recall）和高精度（precision）以及ROC曲线左上角的位置表示模型预测效果更好。
摘要由CSDN通过智能技术生成

这里写自定义目录标题

关于AUC/ROC，F1-score，recall, precision的一些总结

混淆矩阵里有四种不一样的outcomes， 分别代表了

  1. 预测为正，实际为正 – true positive
  2. 预测为正，实际为负 – false positive
  3. 预测为负，实际为正 – false negative
  4. 预测为负，实际为负 – true negative

根据wikipedia的资料

recall(召回）又名sensitivity（灵敏度） 说的是在，比方说一堆人得病了我们要预测他的outcomes 真正得病的那帮人中被成功预测出来患病的概率
在这里插入图片描述
维基百科中文的例子：
举例
在个100人的样本中，有10人事实上患有A病（阳性），经过检测后，9人判定患有A病（真阳性），而1人判定并不患有A病（假阴性）； 另外的90人实际上并不患有A病（阴性），然后经过检测后，其中的5人被判定患有A病（假阳性），另外的85人判定不患有A病（真阴性ÿ

最低0.47元/天 解锁文章
weixin_43964345
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
[机器学习] 第二章 模型评估与选择 1.ROC、AUC、Precision、Recall、F1_score
心宝的博客
04-09 1989
1.非均衡分类问题 类别分类代价不等 例如：垃圾邮件过滤中，我们希望重要的邮件永远不要被误判为垃圾邮件。 还有在癌症检测中，宁愿误判也不漏判。 此时分类错误率的度量不充分 所以，在分类中，当某个类别的重要性高于其他类别时，可以使用Precison和Recall多个比分类错误率更好的新指标。 条件阳性（P） 数据中真实阳性病例的数量 条件否（N） 数据中实际否定案例的数量 Precision（查准率）： 预测为正例的样本中真正正例的比例。 eg: 99正 1负 预测 1正√ 99负 TP/(TP
机器学习基础概念：查准率、查全率、ROC、混淆矩阵、F1-Score 机器学习实战：分类器
12-21
本文将深入探讨几个关键概念：查准率（Precision）、查全率（Recall）、ROC曲线、混淆矩阵以及F1-Score，这些都是衡量分类器效能的重要指标。 查准率和查全率是评价二分类问题中模型性能的两个基本指标。查准率...
分类问题的评价指标（Precision、Recall、Accuracy、F1-Score、Micro-F1、Macro-F1）以及混淆矩阵、ROC曲线
少年龙龙的博客
05-11 1万+
文章目录一、四个基本概念 TP、FP、TN、FN二、精确率（precision）、召回率（recall）、准确率（accuracy）三、F1-Score（F1分数）四、宏平均 Macro-F1 、微平均 Micro-F1、加权平均 Weighted avg五、混淆矩阵（Confusion Matrix）六、ROC 曲线和 AUC（Area Under the Curve，曲线下面积） 一、四个基本概念 TP、FP、TN、FN 真阳性：预测为正，实际为正。把正样本成功预测为正。 TP——True Posit
机器学习 F1-Score, recall, precision
数据之美的博客
01-26 2756
在机器学习，模式识别中，我们做分类的时候，会用到一些指标来评判算法的优劣，最常用的就是识别率，简单来说，就是  Acc=Npre/Ntotal 这里的 Npre表示预测对的样本数，Ntotal表示测试集总的样本数。 识别率有的时候过于简单， 不能全面反应算法的性能，除了识别率，还有一些常用的指标，就是我们要介绍的  F1-score, recall, precisi
AUC计算方法总结
mjiansun的专栏
08-13 2028
摘要: 在机器学习的分类任务中，我们常用许多的指标，诸如召回率（Recall）、准确率（Precision）、F1值、AUC等。 那么，如果手动计算AUC应该要怎么计算呢？相信大家很多时候都是用写好的库直接计算，可能对AUC计算不太了解，下面这篇文章就简单的概述一下AUC的计算方法。 （注：本文的重点其实不在于阐述什么是AUC。因为网上关于这方面的文章实在太多了。但是对于AUC的计算的文章相对来说少一些） 1.什么是AUC？ 相信这个问题很多玩家都已经明白了，简单的概括一下，AUC（are .
roc_auc_score函数
weixin_67609590的博客
05-19 3714
是用于计算二分类问题中 ROC 曲线下的面积（AUC）的函数。ROC（Receiver Operating Characteristic）曲线是一种以真阳性率（True Positive Rate, TPR）为纵坐标、假阳性率（False Positive Rate, FPR）为横坐标的曲线，用于评估二分类模型的分类效果。AUC 表示 ROC 曲线下的面积，其取值范围为 0 至 1，AUC 值越接近 1，说明模型的分类效果越好。
intent-score
03-08
5. **评估指标**：项目可能包含常见的评估指标，如精确率（Precision）、召回率（Recall）、F1分数以及AUC-ROC曲线，这些指标用于衡量模型在不同置信度阈值下的性能。 6. **可视化工具**：为了便于理解和调试，...
在pytorch 中计算精度、回归率、F1 score等指标的实例
09-18
在PyTorch中，训练深度学习模型后，评估模型性能是非常关键的步骤。通常我们会关注几个重要的指标，如...在实际应用中，还可能需要关注其他指标，如精确率-召回率曲线（Precision-Recall Curve）、ROC曲线和AUC值等。
使用 sklearn 完成对模型分类性能的评估 Educoder
12-21
本篇文章将详细讨论如何使用sklearn中的几个关键函数，包括accuracy_score、precision_score、recall_score、f1_score和roc_auc_score，来对模型进行综合评价。 1. 准确度(Accuracy) 准确度是最直观的评价指标，它...
为什么搜索与推荐场景用AUC评价模型好坏？
夕小瑶科技说
07-21 1049
星标/置顶小屋，带你解锁最萌最前沿的NLP、搜索与推荐技术文 |吴海波在互联网的排序业务中，比如搜索、推荐、广告等，AUC（Area under the Curve of ROC）是一...
sklearn(一)计算auc:使用sklearn.metrics.roc_auc_score()计算二分类的auc
凝眸伏笔的博客
11-19 5万+
（1）曲线与FP_rate轴围成的面积（记作AUC）越大，说明性能越好，即图上L2曲线对应的性能优于曲线L1对应的性能。即：曲线越靠近A点（左上方）性能越好，曲线越靠近B点（右下方）曲线性能越差。 （2）A点是最完美的performance点，B处是性能最差点。 （3）位于C-D线上的点说明算法性能和random猜测是一样的–如C、D、E点。位于C-D之上（即曲线位于白色的三角形内）说明算法性能优于随机猜测–如G点，位于C-D之下（即曲线位于灰色的三角形内）说明算法性能差于随机猜测–如F点。
两句话搞懂metrics中roc_auc_score与auc的区别
m0_46414890的博客
04-23 3846
在一般求解AUC时需要求得混沌矩阵 及： metrics中的auc 需要输入已知求得的 fpr 与 tpr 值。 roc_auc_score则是不需要求这两个值，直接将预测概率值和label输入到函数中便可以求得auc值，省略了求这两个值的步骤，由函数本身代求。 这是我找很久的解释博客，才弄明白。 希望能帮助到大家。 ...
分类模型评估之ROC-AUC曲线和PRC曲线
热门推荐
皮皮blog
06-30 9万+
http://blog.csdn.net/pipisorry/article/details/51788927 ROC曲线和AUC ROC（Receiver Operating Characteristic，接受者工作特征曲线）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣。博文介绍ROC和AUC的特点，讨论如何作出ROC曲线图以及计算AUC。 AUC是现...
性能度量 3 Recall Score 查全率、召回率
xllzuibangla的博客
05-26 688
1、定义 查全率=TP/（TP+FN) 2、代码 from sklearn.metrics import accuracy_score,precision_score,recall_score y_true=[1,1,1,1,1,0,0,0,0,0] y_pred=[0,0,1,1,0,0,0,0,0,0] print('准确率Accuracy Score:',accuracy_score(y_true,y_pred,normalize=True)) print('查准率Precision Sc
sklearn评估指标precision_score/recall_score/f1_score原理分析及应用
NewFarmland的博客
07-20 3万+
二分类（Binary classification）     对二分类问题常用的评估指标是精度(precision)、召回率(recall)、F1值(F1-score)。 原理分析 通常以关注的类为正类，其他类为负类。分类器在测试数据集上预测要么正确要么不正确。4种情况出现的总数分别记作： tp--将正类预测为正类（true positive） fn--将正类预测为负类（false ne...
使用scikit-learn计算分类器的ROC曲线及AUC值
胖胖大海的博客
06-13 1万+
在前面的博客中介绍了使用scikit-learn绘制分类器的学习曲线，今天介绍一下使用scikit-learn绘制分类器的ROC曲线，以及计算AUC的值。 ROC曲线主要用于衡量二分类器的性能，当正负样本不均衡时，准确率和召回率不能合理度量分类器的性能。关于ROC曲线和AUC的计算scikit-learn工具包中主要提供了以下几个函数： 1、roc_curve函数（只能用于二分类）：根据模型预测结果（概率，置信度等）和样本真实标签，按照模型预测结果降序排序依次选择阈值，基于阈值计算fpr、tpr，基于f
一文弄懂ROC、AOU和F1 Score评价指标
Haiwi-Song
04-20 1万+
文章目录混淆矩阵ROCAOUPRCF1-Score多分类的F1-Score选择指标 ROC 曲线和 AUC 常被用来评价一个 二值分类器 的优劣。 混淆矩阵 其中，TP(真正，True Positive)表示真正结果为正例，预测结果也是正例；FP(假正，False Positive)表示真实结果为负例，预测结果却是正例；TN（真负，True Negative）表示真实结果为正例，预测结果却是负例...
【`roc_auc_score` 函数详解】
最新发布
武帝为此的博客
08-23 4856
函数属于模块，它的作用是计算ROC AUC分数，用于衡量二分类模型的预测性能。ROC AUC分数是ROC曲线下方的面积，范围在0到1之间，分数越高表示模型的性能越好。
机器学习评价指标 ROC与AUC 的理解和python实现
张渊猛的博客
08-15 2万+
本文所讲内容的前提是一个二分类的任务，多分类任务可以经过简单扩展用转化成二分类。 评估一个二分类的分类器的性能指标有：准确率、查准率（precision）、查全率（recall）、F1值以及ROC和AUC等。前面几个比较直观，而ROC和AUC相对抽象一点，本文将重点放在后者。因为本文曾一度没搞清ROC，所以这次彻底搞明白。 从混淆矩阵说起 首先一个用分类器预测完后，我们会得到一个二分类的混淆...
python 对多分类logistic回归结果，利用十折交叉验证分别计算 accuracy、 auc、 recall、 precision 以及 F1-score 等参数
06-11
对于多分类logistic回归结果，我们可以使用sklearn库中的相关函数来计算这些参数。具体步骤如下： 1. 导入必要的库和数据 ```python from sklearn.linear_model import LogisticRegression from sklearn.model_selection import cross_val_score, cross_val_predict from sklearn.metrics import accuracy_score, roc_auc_score, recall_score, precision_score, f1_score from sklearn.datasets import load_iris # 加载数据 iris = load_iris() X = iris.data y = iris.target ``` 2. 创建模型并进行十折交叉验证 ```python # 创建模型 clf = LogisticRegression(multi_class='auto', solver='lbfgs', max_iter=5000) # 进行十折交叉验证 scores = cross_val_score(clf, X, y, cv=10) y_pred = cross_val_predict(clf, X, y, cv=10) ``` 3. 计算各个参数 ```python # 计算accuracy accuracy = accuracy_score(y, y_pred) # 计算auc auc = roc_auc_score(y, y_pred, multi_class='ovo', average='weighted') # 计算recall recall = recall_score(y, y_pred, average='weighted') # 计算precision precision = precision_score(y, y_pred, average='weighted') # 计算F1-score f1 = f1_score(y, y_pred, average='weighted') ``` 其中，multi_class参数指定了多分类问题的处理方式，solver参数指定了优化器的选择，max_iter参数指定了最大迭代次数。cross_val_score函数可以得到十折交叉验证的得分，cross_val_predict函数可以得到每个样本的预测结果。通过调用相关函数，即可计算出accuracy、auc、recall、precision以及F1-score等参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值