准确度，精确度， 召回率

最新推荐文章于 2024-06-28 15:13:50 发布
最新推荐文章于 2024-06-28 15:13:50 发布
阅读量1k 收藏 4
点赞数

 

准确率(正确率, accuracy)，精确度(precision)， 召回率(recall) 都是计算正条件值 (Condition positive， 正样本).

 

查准率（Precision）查准率反映了被判定为正例中真正的正例样本的比重

查全率（Recall）查全率反映了被判定的正例占总的正例的比重

100次地震预测， 实际10次地震，TP为10， RECALL为1 ， 预测很全

 

 

显然，混淆矩阵包含四部分的信息：

  1. True negative(TN)，称为真阴率，表明实际是负样本预测成负样本的样本数
  2. False positive(FP)，称为假阳率，表明实际是负样本预测成正样本的样本数
  3. False negative(FN)，称为假阴率，表明实际是正样本预测成负样本的样本数
  4. True positive(TP)，称为真阳率，表明实际是正样本预测成正样本的样本数

对照着混淆矩阵，很容易就能把关系、概念理清楚，但是久而久之，也很容易忘记概念。不妨我们按照位置前后分为两部分记忆，前面的部分是True／False表示真假，即代表着预测的正确性，后面的部分是positive／negative表示正负样本，即代表着预测的结果，所以，混淆矩阵即可表示为正确性－预测结果的集合。现在我们再来看上述四个部分的概念（均代表样本数，下述省略）：

  1. TN，预测是负样本，预测对了
  2. FP，预测是正样本，预测错了
  3. FN，预测是负样本，预测错了
  4. TP，预测是正样本，预测对了

几乎我所知道的所有评价指标，都是建立在混淆矩阵基础上的，包括准确率、精准率、召回率、F1-score，当然也包括AUC。 

 

对于真正例率TPR，分子是得分>t里面正样本的数目，分母是总的正样本数目。 而对于假正例率FPR，分子是得分>t里面负样本的数目，分母是总的负样本数目.

这里是归一化思想， 即各类的预测效果如何。TPR，正样本预对OK率；FPR，负样本预对FAIL率；

 引用 ： https://www.zybuluo.com/frank-shaw/note/152851

假设有下面两个分类器，哪个好？（样本中有A类样本90个，B 类样本10个。）

 

、A类样本B类样本分类精度
分类器C1A*90（100%）A*10（0%）90%
分类器C2A*70 + B*20 （78%）A*5 + B*5 （50%）75%

 

可以代入到上面的两个分类器当中，可以得到下面的表格（分类器C1）：

、预测A预测B合计
实际A90090
实际B10010

TPR = FPR = 1.0.

分类器C2：

、预测A预测B合计
实际A702090
实际B5510

TPR = 0.78， FPR = 0.5

那么，以TPR为纵坐标，FPR为横坐标画图，可以得到： 
ROC画图 
上图中蓝色表示C1分类器，绿色表示C2分类器。可以知道，这个时候绿色的点比较靠近左上角，可以看做是分类效果较好。所以评估标准改为离左上角近的是好的分类器（考虑了正负样本的综合分类能力）。

一连串这样的点构成了一条曲线，该曲线就是ROC曲线。而ROC曲线下的面积就是AUC（Area under the curve of ROC）。这就是AUC指标的由来。

如何画ROC曲线

对于一个特定的分类器和测试数据集，显然只能得到一个分类结果，即一组FPR和TPR结果，而要得到一个曲线，我们实际上需要一系列FPR和TPR的值才能得到这样的曲线，这又是如何得到的呢？

可以通过分类器的一个重要功能“概率输出”，即表示分类器认为某个样本具有多大的概率属于正样本（或负样本），来动态调整一个样本是否属于正负样本（还记得当时阿里比赛的时候有一个表示被判定为正样本的概率的列么？）

 

或者 

但仍有一个问题，对于一个学习器它的预测结果只能产生一对（FPR，TPR），这只能绘制一个点，不足以绘制出一条曲线。实际上对于许多学习器在判定二分类问题时是预测出一个对于真值的范围在[0.0, 1.0]之间的概率值，而判定是否为真值则看该概率值是否大于设定的阈值（Threshold）。例如如果阈值设定为0.5则所有概率值大于0.5的均为正例，其余为反例。因此对于不同的阈值我们可以得到一系列相应的FPR和TPR，从而绘制出ROC曲线。 
以下列数据举例： 
y_true = [0, 1, 0, 1]，真实值 
y_score = [0.1, 0.35, 0.4, 0.8]， 预测概率值   ??? 如果预测值与真值一样呢？ ROC会是什么样？
分别取4组判定正例用的阈值(大于等于)：[0.1, 0.35, 0.4, 0.8]，可得相应4组FPR,TPR: 
FPR: [1, 0.5, 0.5, 0] 
TPR: [1, 1, 0.5, 0.5] 

其中

TP=2FN=0 正=2 
FP=2  TN=0  负=2
 TPR=1FPR=1  
TP=2 FN=0 正=2
FP=1 TN= 1 负=2
TPR=1 FPR=0.5  
TP=1 FN=1  
 FP=1TN=1  
 TPR=0.5 FPR=0.5 
TP=1FN=1  
 FP=0TN=2  
 TPR=0.5 FPR=0 


绘制ROC曲线图如下： 
ROC Curve Example

ROC曲线所覆盖的面积称为AUC（Area Under Curve），可以更直观的判断学习器的性能，AUC越大则性能越好。对于该例的AUC值为0.75

AUC（Area under the Curve of ROC）是ROC曲线下方的面积，是判断二分类预测模型优劣的标准。ROC（receiver operating characteristic curve）接收者操作特征曲线，是由二战中的电子工程师和雷达工程师发明用来侦测战场上敌军载具（飞机、船舰）的指标，属于信号检测理论。ROC曲线的横坐标是伪阳性率（也叫假正类率，False Positive Rate），纵坐标是真阳性率（真正类率，True Positive Rate）

 

显然，ROC曲线的横纵坐标都在[0,1]之间，自然ROC曲线的面积不大于1。现在我们来分析几个特殊情况，从而更好地掌握ROC曲线的性质：

  • (0,0)：假阳率和真阳率都为0，即分类器全部预测成负样本
  • (0,1)：假阳率为0，真阳率为1，全部完美预测正确，happy
  • (1,0)：假阳率为1，真阳率为0，全部完美预测错误，悲剧
  • (1,1)：假阳率和真阳率都为1，即分类器全部预测成正样本
  • TPR＝FPR，斜对角线，预测为正样本的结果一半是对的，一半是错的，代表随机分类器的预测效果

于是，我们可以得到基本的结论：ROC曲线在斜对角线以下，则表示该分类器效果差于随机分类器，反之，效果好于随机分类器，当然，我们希望ROC曲线尽量除于斜对角线以上，也就是向左上角（0,1）凸。

AUC(Area under the ROC curve)

ROC曲线一定程度上可以反映分类器的分类效果，但是不够直观，我们希望有这么一个指标，如果这个指标越大越好，越小越差，于是，就有了AUC。AUC实际上就是ROC曲线下的面积。AUC直观地反映了ROC曲线表达的分类能力。

  • AUC ＝ 1，代表完美分类器
  • 0.5 < AUC < 1，优于随机分类器
  • 0 < AUC < 0.5，差于随机分类器

AUC能拿来干什么

从作者有限的经历来说，AUC最大的应用应该就是点击率预估（CTR）的离线评估。CTR的离线评估在公司的技术流程中占有很重要的地位，一般来说，ABTest和转全观察的资源成本比较大，所以，一个合适的离线评价可以节省很多时间、人力、资源成本。那么，为什么AUC可以用来评价CTR呢？我们首先要清楚两个事情：

  1. CTR是把分类器输出的概率当做是点击率的预估值，如业界常用的LR模型，利用sigmoid函数将特征输入与概率输出联系起来，这个输出的概率就是点击率的预估值。内容的召回往往是根据CTR的排序而决定的。
  2. AUC量化了ROC曲线表达的分类能力。这种分类能力是与概率、阈值紧密相关的，分类能力越好（AUC越大），那么输出概率越合理，排序的结果越合理。

我们不仅希望分类器给出是否点击的分类信息，更需要分类器给出准确的概率值，作为排序的依据。所以，这里的AUC就直观地反映了CTR的准确性（也就是CTR的排序能力）

weixin_33985507
关注
精确率、精度（Precision） 召回率（recall）你真的理解吗？
小秋 AI SLAM 入门实战教程
08-07 635
算法是回环 事实是回环（TP） 算法是回环 事实是回环（TP） + 算法是回环 事实不是回环（FP） Precision 事实是回环（TP） 事实是回环（TP） + 事实不是回环（FP） Precision 算法是回环 事实是回环（TP） 算法是回环 事实是回环（TP） + 算法不是回环 事实是回环（FP） ...
【机器学习】准确率、精确度、召回率和 F1 定义
gongdiwudu的专栏
07-02 8014
数据科学家选择目标变量后 - 例如他们希望预测电子表格中的“列”，并完成了转换数据和构建模型的先决条件，最后步骤之一是评估模型的性能。
好记性不如烂笔头——关于精确度、召回率、F值、准确率
zjc的专栏
07-05 2303
将数据挖掘中这些评测指标的基本概念做一整理，忘了的时候还可以来查一查。 精确度，有时也叫正确率，是英文中的precision而不是accuracy。表示正确识别为此类的样本数目（TP）/识别为此类的样本总数目（TP+FP）。FP就是那些原本不是此类但被错误的分为此类的样本数目。 召回率，这个名称容易使人把它和召回缺陷产品的比率联想到一起，完全不是一码事。所以另外一种翻译的名称更
机器学习中的召回率与准确率详解
最新发布
聚娃科技开发者博客
06-28 721
在实际应用中，分类器的性能评估不仅仅依赖于分类的准确性，还需要考虑分类器对正例的识别能力（召回率）以及正例预测的准确性（准确率）。在机器学习领域中，召回率（Recall）和准确率（Precision）是两个重要的评估指标，用于衡量分类模型的性能和效果。其中，TP（True Positive）表示真正例的数量，FP（False Positive）表示假正例的数量。在上述示例中，我们定义了计算准确率和召回率的方法，并演示了如何使用这些方法来评估分类器的性能。
机器学习（21）---召回率(recall)、精度(precision)和准确率(accuracy)
m0_62881487的博客
10-10 5009
精度（precision）和召回率（recall）是衡量机器学习模型性能的重要指标，特别是数据集分布不平衡的案例中。
准确率 精确度 召回率
业余程序员的成长轨迹
03-29 487
真正（TP）：分到类A且真的属于类A的实例数量 ；真负（TN）：没有分到类A且真的不属于类A的实例数量；假正（FP）：分到类A但不属于类A的实例数量；假负（FN）：没有分到类A但属于类A的实例数量；精确度=（TP+TN）/（TP+TN+FP+FN）准确率=TP/（TP+FP）召回率=TP/（TP+FN）链接：https://www.zhihu.com/question/19645541/answe...
准确度(accuracy)、精确率（precision)、召回率（recall）、F1值 谈谈我的看法
凡心所向.AI
08-22 7万+
前言 准确度、精确率、召回率、F1值作为评估指标，经常用到分类效果的评测上。比较好理解的二分类问题，准确度评估预测正确的比例，精确率评估预测正例的查准率，召回率评估真实正例的查全率。如何把这些评估指标用到多分类上呢，比如有三个类别A、B、C，准确度好理解，只要关系是否预测正确即可；那么精确率和召回率怎么理解呢？我们可以把多分类问题拆分成多个二分类问题，比如A类别是否预测正确，B类别是否预测正确，C类别是否预测正确，分别计算各个类别的每个类别的精确率和召回率，最终求均值既能作为所有样本的评估指标。 基本概
模型评估方法以及评估指标——准确率、精确率、召回率以及P-R曲线和ROC曲线介绍
qq_42600675的博客
12-06 1万+
模型评估方法以及评估指标介绍前言一、准确率、精确率、召回率1.1 准确率(Accuracy)1.2 精确率(Precision)1.3 召回率(Recall)二、P-R曲线和ROC曲线2.1 P-R曲线2.2 ROC曲线三、模型评估验证方法3.1 Holdout检验3.2 交叉检验3.3 自助法 前言 ”没有测量，就没有科学“ 在机器学习中，只有选择与问题相匹配的评估方法，才能快速地发现模型选择或训练过程中出现的问题，迭代地对模型进行优化。模型评估主要是离线评估和在线评估两个阶段，本文整理了常见的模
准确度、精确度、召回率、ROC曲线、AUC值
09-18 4108
https://blog.csdn.net/maqian5/article/details/94392049?utm_medium=distribute.pc_relevant.none-task-blog-title-3&spm=1001.2101.3001.4242 https://blog.csdn.net/sunflower_sara/article/details/81214897#%E7%B2%BE%E7%A1%AE%E7%8E%87%C2%A0%2F%C2%A0precision%2
召回率 精确率 matlab,「机器学习」准确率、精确率、召回率、F1分数、ROC-AUC
weixin_34957720的博客
03-20 2806
「机器学习」准确率、精确率、召回率、F1分数、ROC-AUC机器学习最后更新 2020-08-31 16:22阅读 210最后更新 2020-08-31 16:22阅读 210机器学习在机器学习中衡量一个模型是否准确我们有很多指标：准确率 - accuracy精确率 - precision召回率 - recallF1分数-F1 scoreROC曲线下面积 - ROC-AUC (area under...
详解准确率、精确率、召回率、F1值等评价指标的含义
谓之小一
01-31 3万+
机器学习问题之中，通常需要建立模型来解决具体问题，但对于模型的好坏，也就是模型的泛化能力，如何进行评估呢？ 很简单，我们可以定一些评价指标，来度量模型的优劣。比如准确率、精确率、召回率、F1值、ROC、AUC等指标，但是你清楚这些指标的具体含义吗？下面我们一起来看看吧。 1.混淆矩阵 介绍各个指标之前，我们先来了解一下混淆矩阵。假如现在有一个二分类问题，那么预测结果和实际结果两两结合会出现如下四种...
精确率与召回率
qq_31139389的博客
08-04 7936
分类问题的评估指标 1.分类评估方法 1.1 精确率与召回率 1.1.1 混淆举证 在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类) TP：True Positives， 表示实际为正例且被分类器判定为正例的样本数 FP：False Positives， 表示实际为负例且被分类器判定为正例的样本数 FN：False Negatives， 表示实际为正例但被分类器判定为负例的样本数 TN：True
精确率（Precision）和召回率（Recall）
Datalhy的博客
06-13 708
模型好坏只需要精确率不需要召回率？
召回率、精确率、精确度、F值
我乐飞的技术博客
07-27 4998
召回率、准确率和F值 召回率 精确率 例子 召回率、准确率和F值 &nbsp; 信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate)，召回率也叫查全率，准确率也叫查准率 召回率 召回率也叫查全率 我预测中真正正确的数目与测试数据集中的真正正确的比值 召回率 = 系统检索到的相...
准确率、精确率、召回率、F1-score
ywfwyht的博客
02-22 1万+
追求召回率高，则通常会影响精确率。F1值为算数平均数除以几何平均数，且越大越好，将Precision和Recall的上述公式带入会发现，当F1值小时，True Positive相对增加，而false相对减少，即Precision和Recall都相对增加，即F1对Precision和Recall都进行了加权。直白的意思就是模型预测为正例的样本中，其中真正的正例占预测为正例样本的比例，用此标准来评估预测正例的准确度。以实际样本为判断依据，实际为正例的样本中，被预测正确的正例占总实际正例样本的比例。
准确率、精确率、召回率、F1值、ROC/AUC整理笔记
热门推荐
学习容易上瘾
07-09 13万+
对于二分类问题，机器预测的和实际的还是会有所偏差，所以我们引入以下几个概念来评价分类器的优良。 一、TP、TN、FP、FN概念 首先有关TP、TN、FP、FN的概念。大体来看，TP与TN都是分对了情况，TP是正类，TN是负类。则推断出，FP是把错的分成了对的，而FN则是把对的分成了错的。（我的记忆方法：首先看第一个字母是T则代表分类正确，反之分类错误；然后看P，在T中则是正类，若在F中则实际为...
[机器学习] 二分类模型评估指标---精确率Precision、召回率Recall、ROC|AUC
摩登都市天空---专栏
12-13 2万+
目录 为什么要评估模型? 怎么检验和评估模型? 评估指标 (Evaluation Matrics)是什么? 错误率,精度,误差的基本概念: 分类器评估指标 混淆矩阵 1. 准确率P、召回率R、F1 值 2. ROC与AUC ROC 计算例子 1. 分析数据 2. 针对score，将数据排序 3. 将截断点依次取为score值 为什么要评估模型? 一句话,想找到最有效的模...
召回率 Recall、精确度Precision、准确率Accuracy、虚警、漏警等分类判定指标
IT全栈 华强工作室
02-24 5万+
召回率 Recall、精确度Precision、准确率Accuracy、虚警、漏警等分类判定指标  假设原始样本中有两类，其中：   1：总共有 P个类别为1的样本，假设类别1为正例。   2：总共有N个类别为0的样本，假设类别0为负例。 经过分类后：   3：有TP个类别为1的样本被系统正确判定为类别1，FN个类别为1 的样本被系统误判定为类别0，显然有P=TP+FN；   4：有
准确率、精度和召回率
zj
10-23 1万+
原文链接 精度（查准率）和召回率（查全率）是衡量机器学习模型性能的重要指标，特别是数据集分布不平衡的案例中。 什么是分布不平衡的数据集？ 倘若某人声称创建一个能够识别登上飞机的恐怖分子的模型，并且准确率（accuracy）高达 99%。你相信吗？好了，有这么一个模型：将美国机场起飞的所有乘客简单地标注为非恐怖分子。已知美国全年平均有 8 亿人次乘客，并且在 2000-2017 年间共发现了 19...
准确率精确度召回率f1
05-13
准确率（Accuracy）：分类器正确分类的样本数占总样本数的比例。...F1值 = 2 * 精确度 * 召回率 / (精确度 + 召回率) 这些指标常用于分类模型的评估，可以帮助我们了解模型的预测表现和误差情况。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值