精确率、召回率、F1 值、ROC、AUC 各自的优缺点

最新推荐文章于 2024-07-30 10:44:16 发布
最新推荐文章于 2024-07-30 10:44:16 发布
阅读量3k 收藏 3
点赞数
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010814042/article/details/78149480
版权
本文详细介绍了ROC曲线和PRC曲线在机器学习中的作用，包括它们的定义、优缺点以及适用场合。ROC曲线适用于数据不平衡情况不严重的情况，而PRC曲线在正样本远小于负样本时能更好地评估模型性能。地震预测和嫌疑人定罪是两个不同的应用场景实例，前者更关注召回率，后者更注重精确率。
摘要由CSDN通过智能技术生成

本文主要汇总了知乎的回答[https://www.zhihu.com/question/30643044]
ROC曲线的概念：http://blog.csdn.net/abcjennifer/article/details/7359370
PRC曲线的概念: http://blog.csdn.net/u012089317/article/details/52156514

1. 总体介绍

ROC：ROC是光滑的， 基本可以判断没有太大的overfitting。然后看auc的大小，就是ROC曲线下方的面积，面积越大一般认为模型越好。
PRC：先看光不光滑，上面的比下面的好。连接(0,0)和(1,1)的线，线和PRC重合的地方的F1是这条线最大的F1（光滑的情况下），此时的F1对于PRC就好象AUC对于ROC一样。一个数字比一条线更方便调模型。

2. 使用场合：

  • 如果没有data imbalance,倾向于用ROC；
  • 如正样本远小于负样本，
最低0.47元/天 解锁文章
小强的呼呼呼
关注
专栏目录
机器学习中——常见二元分类性能指标（准确率、精确率、召回率、F1值、ROC AUC得分）
RookieWantToFly的博客
05-02 1552
接下来以垃圾信息分类器作为例子说明： 文章目录一、垃圾短信分类器二、二元分类性能指标1. 准确率2. 精准率和召回率3.F1值4.ROC AUC 一、垃圾短信分类器 对于垃圾短信分类器，当分类器将一条短信正确地预测为垃圾短信时为真阳性；当分类器将一条短信正确地预测为非垃圾短信时为真阴性；当非垃圾信息被预测为垃圾信息时为假阳性；当垃圾信息被预测为非垃圾信息时为假阴性； 垃圾信息 非垃圾信息 预测为垃圾信息 真阳性(TP) 假阳性(FP) 预测为非垃圾信息 假阴性(FN) 真阴性(TN)
精确率、召回率、F1、AUC和ROC曲线
wangxiaoxiaodeer的博客
01-01 751
如果我们已经定好了一个阈值，超过此阈值定义为坏用户（1），低于此阈值定义为好用户（0），就可以计算出混淆矩阵（Confusion matrix）。 根据混淆矩阵我们可以得到TP,FN,FP,TN四个值，TP即为预测正确的坏用户的个数，FN为预测错误（预测为好用户）的坏用户个数，根据这四个值即可计算精确率、召回率和F1。 精确率（Precision）为TP/(TP+FP)，即为在预测为坏人的人中，预测正确（实际为坏人）的人占比。 召回率（Recall）为TP/(TP+FN)，即为在实际为...
auc 损失_精确率、召回率、F1 值、ROC、AUC 各自的优缺点是什么？
weixin_39703468的博客
11-20 707
模型评估有时候要用precision和recall，有时候用AUC，不存在优缺点问题，只存在适用性问题。模型评估为啥不用precision和recall？因为它支持不了我的决策啊。。 同样的问题，根据不同情况，我可以问100个: 为啥这个模型评估不用AUC？而要用logloss，因为它支持不了我的决策啊 为啥这个模型评估不用logloss，而要用ROI？因为它支持不了我的决策啊 为啥这个模型不用R...
精确率、召回率、F1 值、ROC、AUC等分类模型评价指标含义与作用详解
weixin_45459911的博客
03-30 1万+
文章目录摘要一、精确率、召回率、F函数、准确率和错误率1、定义2、区别与应用二、ROC曲线、P-R曲线、AUC1、P-R曲线2、ROC曲线3、AUC 摘要 在涉及机器学习领域的分类问题时（尤其是衡量推荐系统性能时），经常会遇到诸如准确率、召回率、ROC、AUC等名词。本文就来详细阐述一下各类评价指数的具体含义和特点。 一、精确率、召回率、F函数、准确率和错误率 1、定义 结合混淆矩阵进行说明 1...
机器学习 | 评估原理——准确率、精确率、召回率、F1值
最新发布
ttrr27的博客
07-30 1715
Hi，大家好，我是半亩花海。接着上次的模型评估与交叉验证继续更新《白话机器学习的数学》这本书的学习笔记，在此分享精确率、召回率、F1值相关评估原理。本章的基于已建立的模型进行评估知识的学习，欢迎大家交流学习！
AUC性能指标计算方法及优缺点
小郁同学
07-21 1753
AUC是重要性能指标，除了Area under curve的面积意义以外，还可以通过统计上的概率进行解释。
分类模型常见F1分数、精确率、召回率、正确率、虚警率和漏检率、平衡精度、AUC等性能评价指标
程序猿进化梯
10-15 8277
目录1、常见的几种预测情况2、精确率和召回率（Precision And Recall）3、F1-分数（F1-Score）4、其他常见性能评价指标 1、常见的几种预测情况 TP ,True Positive,表示把正类预测为正类 TN,True Negative,表示把负类样本预测为负类 FP,False Positive,表示把负类预测为正类 FN,False Negative,表示把正类预测为负类。 “狼来了”的故事模型 2、精确率和召回率（Precision And Recall） 精确度/精确率（
机器学习性能评价指标准确率， 召回率，F1， ROC ，AUC
None_Pan的博客
05-18 883
假设我们做一个诈骗监测模型： 诈骗检测模型的输出是交易欺诈的概率[0.0–1.0]。 如果此概率低于0.5，则将交易分类为非欺诈； 否则，您将交易分类为欺诈。 为了评估模型的性能，您收集了10,000个手动分类的交易，其中有300个欺诈交易和9,700个非欺诈交易。 您在每个事务上运行分类器，预测类标签（欺诈或非欺诈），并在以下混淆矩阵中总结结果： ...
（14）机器学习_f1,auc值
xdg15294969271的博客
09-05 527
1、f1,auc介绍 2、如何计算 这里采用的是华数杯附件一中的数据 import numpy as np from sklearn.svm import SVC from sklearn.model_selection import train_test_split from sklearn.preprocessing import MinMaxScaler from sklearn.metrics import classification_report import pandas as pd from
prc曲线 sklearn_精确率、召回率、F1 值、ROC、AUC 各自的优缺点是什么？
weixin_36221149的博客
12-29 482
前面各位大神总结的都非常的好，也说一下自己的总结和理解。ROC/AUC作为机器学习的评估指标非常重要，也是面试中经常出现的问题(80%都会问到)。其实，理解它并不是非常难，但是好多朋友都遇到了一个相同的问题，那就是：每次看书的时候都很明白，但回过头就忘了，经常容易将概念弄混。还有的朋友面试之前背下来了，但是一紧张大脑一片空白全忘了，导致回答的很差。我在之前的面试过程中也遇到过类似的问题，我的面试经...
机器学习评价指标【准确率、精确率、召回率、F1值、ROC、AUC】
真心乖宝宝的博客
08-07 1760
准确率(precision) 在被判定为正样本的数据中，实际为正样本的个数 精确率(accuracy) 在所有数据中，正负样本判断正确的个数 召回率(recall) 在实际为正样本的数据中，被判定为正样本的个数 F1值 F1值是精确率和召回率的调和均值，相当于精确率和召回率的综合评价指标 ROC 接收者操作特征曲线（receiver operating characteristic curve），是反映敏感性和特异性连续变量的综合指标，ROC曲线上每个点反映着对同一信号刺激的感受性 横坐
详解准确率、精确率、召回率、F1值等评价指标的含义
热门推荐
谓之小一
01-31 3万+
机器学习问题之中，通常需要建立模型来解决具体问题，但对于模型的好坏，也就是模型的泛化能力，如何进行评估呢？ 很简单，我们可以定一些评价指标，来度量模型的优劣。比如准确率、精确率、召回率、F1值、ROC、AUC等指标，但是你清楚这些指标的具体含义吗？下面我们一起来看看吧。 1.混淆矩阵 介绍各个指标之前，我们先来了解一下混淆矩阵。假如现在有一个二分类问题，那么预测结果和实际结果两两结合会出现如下四种...
评估指标（二）| F1分数、AUC
weixin_46390472的博客
02-16 1831
书接上文，我们已经讨论了准确率、精确率和召回率，本文将讨论和这两种常用指标。
深入理解实际场景下 AUC vs F1 的区别——不说废话
Jerry_Lu_ruc的博客
08-10 2万+
面试的时候经常被问的一个问题是 AUC和F1 score有什么区别。笔者看了很多博文，感觉相当一部分在分析混淆矩阵和auc、f1的定义上花了太多笔墨，但对于两者的区别和联系，有种到了门前就差临门一脚的感觉。因此笔者去stack overflow上找了很多回答，感觉收获很多，在此简明扼要的写一下收获。如有纰漏欢迎指正。 1、定义： AUC的优化目标：TPR和(1-FPR) F1的优化目标：Recall和Precision 这里不再对混淆矩阵(TP、FP、TN、FN)相关的一些很细的概念做详细解释，推荐去看一下
F1,AUC的区别与选择
ybdesire的专栏
10-06 3991
1. 引入 评价一个分类器模型的效果，可以用交叉验证，也可以根据场景将数据切分为训练集、测试集，评价指标有Accuracy,F1-Value,AUC等。 那我们该如何选择评价指标呢？不同场景下选择哪个指标更合理呢？ 2. 原理区别 Accuracy 准确率 准确率高的模型，不一定是好模型 比如癌症预测，100个人中只有一个病人，若分类器都输出0，准确率为99%，但我们都知道这无法找到任何一个癌症病人 所以大部分场景，都不能直接根据Accuracy来评价模型 F1-Value 综合考虑了Prec
AUC、ACC、F1、准确率、召回率
qq_44783689的博客
12-01 1万+
准确率 - accuracy 精确率 - precision 召回率 - recall F1值 - F1-score ROC曲线下面积 - ROC-AUC （area under curve） PR曲线下面积 - PR-AUC 1 、auc AUC（Area Under Curve）被定义为ROC曲线下与坐标轴围成的面积，这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。AUC越接近1.0，检测方法真实性越高;等于0.5时，则真实性最低，无应用价
聊聊模型评估的事儿，附 roc 常见的四个问题
SeizeeveryDay的博客
03-13 1486
在风控领域中，对于模型的评估常用的指标其实并不是精准率、召回率这些，而是 ROC。原因很简单：样本。试想一下，在一个用户数据集中有 100w 个用户，但是其中只有 1000 个用户是坏用户...
一文弄懂ROC、AOU和F1 Score评价指标
Haiwi-Song
04-20 1万+
文章目录混淆矩阵ROCAOUPRCF1-Score多分类的F1-Score选择指标 ROC 曲线和 AUC 常被用来评价一个 二值分类器 的优劣。 混淆矩阵 其中，TP(真正，True Positive)表示真正结果为正例，预测结果也是正例；FP(假正，False Positive)表示真实结果为负例，预测结果却是正例；TN（真负，True Negative）表示真实结果为正例，预测结果却是负例...
Python ROC曲线用法介绍
weixin_44175061的博客
08-17 542
ROC曲线全称为“接收者操作特征曲线”（Receiver Operating Characteristic Curve），是一种描述分类模型的性能指标。ROC曲线以横轴为假正率（FPR）, 纵轴为真正率（TPR）, 通过改变分类模型的阈值从而得到不同的FPR和TPR点，进而画出ROC曲线。在ROC曲线上，经过任意一点的切线斜率对应着该点所对应的分类器的误差代价比例，切线越接近于上方椭圆角越小，分类器越优。一个完美的分类器应该沿着左上角的点到右上角的点画一条45度线。
pytorch计算模型评价指标准确率、精确率、召回率、F1值、AUC的示例代码
03-14
以下是一个使用 PyTorch 计算模型评价指标准确率、精确率、召回率、F1 值、AUC 的示例代码： ```python import torch import numpy as np from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score # 假设我们有一个二分类模型，输出为概率值 y_pred = torch.tensor([0.2, 0.8, 0.6, 0.3, 0.9]) y_true = torch.tensor([0, 1, 1, 0, 1]) # 将概率值转换为二分类标签 y_pred = torch.round(y_pred) # 将 PyTorch 张量转换为 NumPy 数组 y_pred = y_pred.numpy() y_true = y_true.numpy() # 计算各项指标 acc = accuracy_score(y_true, y_pred) precision = precision_score(y_true, y_pred) recall = recall_score(y_true, y_pred) f1 = f1_score(y_true, y_pred) auc = roc_auc_score(y_true, y_pred) # 输出结果 print("Accuracy: {:.4f}".format(acc)) print("Precision: {:.4f}".format(precision)) print("Recall: {:.4f}".format(recall)) print("F1 score: {:.4f}".format(f1)) print("AUC score: {:.4f}".format(auc)) ``` 注意：这只是一个示例代码，实际使用时需要根据具体情况进行修改。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值