精确率和召回率概念

对这几个定义一直不是很清晰:转载一些加以记忆:

对于数据测试结果有下面4种情况:

TP: 预测为正,实际为正

TN: 预测为负,实际为负

FP:预测为正,实际为负

FN: 预测为负,实际为正

T/F:表示预测结果是否正确

P/N:表示预测结果是正或负样本

精确率、准确率:Accuracy=(TP+TN)/(TP+TN+FN+FP)

精准率、查准率: P = TP/ (TP+FP)

召回率、查全率: R = TP/ (TP+FN)

真正例率(同召回率、查全率):TPR = TP/ (TP+FN)

假正例率:FPR =FP/ (FP+TN)

F1-score: 2*TP/(2*TP + FP + FN)

回率和精度示意图

  • recall recall

假定:从一个大规模数据集合中检索文档时,可把文档分成四组:

- 系统检索到的相关文档(A)

- 系统检索到的不相关文档(B)

- 相关但是系统没有检索到的文档(C)

- 不相关且没有被系统检索到的文档(D)

则:

- 召回率R:用实际检索到相关文档数作为分子,所有相关文档总数作为分母,即R = A / ( A + C )

- 精度P:用实际检索到相关文档数作为分子,所有检索到的文档总数作为分母,即P = A / ( A + B )

举例来说:

一个数据库有500个文档,其中有50个文档符合定义。系统检索到75个文档,但是实际只有45个符合定义。则:

召回率R=45/50=90%

精度P=45/75=60%

本例中,系统检索是比较有效的,召回率为90%。但是结果有很大的噪音,有近一半的检索结果是不相关。 研究表明:在不牺牲精度的情况下,获得一个高召回率是很困难的。

-------------------------------------------这是一条可爱的分界线,如果还不明白,可以看下这个----------------------------------------------------

一.定义辨析

刚开始接触这两个概念的时候总搞混,时间一长就记不清了。

实际上非常简单,精确率是针对我们预测结果而言的,它表示的是预测为正的样本中有多少是真正的正样本。那么预测为正就有两种可能了,一种就是把正类预测为正类(TP),另一种就是把负类预测为正类(FP),也就是

  • 而召回率是针对我们原来的样本而言的,它表示的是样本中的正例有多少被预测正确了。那也有两种可能,一种是把原来的正类预测成正类(TP),另一种就是把原来的正类预测为负类(FN)。

  • 其实就是分母不同,一个分母是预测为正的样本数,另一个是原来样本中所有的正样本数。

 

在信息检索领域,精确率和召回率又被称为查准率和查全率,

查准率=检索出的相关信息量 / 检索出的信息总量

查全率=检索出的相关信息量 / 系统中的相关信息总量

二.举个栗子

假设我们手上有60个正样本,40个负样本,我们要找出所有的正样本,系统查找出50个,其中只有40个是真正的正样本,计算上述各指标。

  • TP: 将正类预测为正类数 40

  • FN: 将正类预测为负类数 20

  • FP: 将负类预测为正类数 10

  • TN: 将负类预测为负类数 30

准确率(accuracy) = 预测对的/所有 = (TP+TN)/(TP+FN+FP+TN) = 70%

精确率(precision) = TP/(TP+FP) = 80%

召回率(recall) = TP/(TP+FN) = 2/3

学习来自:
作者:菜鸟瞎编
链接:https://www.jianshu.com/p/4434ea11c16c
来源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

 

 

 

在机器学习领域,精确率召回率是两个核心概念,它们常用于评估分类模型的性能。精确率指的是模型预测为正例的样本中,真实正例的比例;而召回率则是在所有真实正例样本中,被模型正确预测的比例。它们在**定义、影响策略和计算公式**等方面存在差异。具体分析如下: 1. **定义** - **精确率**:反映的是预测为正例的样本中,真实正例的比例。高精确率意味着模型在预测为正例的样本中,能够准确捕捉到更多的真实正例。低精确率则表示模型将过多的负例错误地标记为了正例。 - **召回率**:衡量的是所有真实正例样本中,被模型正确预测的比例。高召回率说明模型能够成功地识别出大部分的正例样本,漏报的情况较少。低召回率则表示模型错过了许多真实的正例样本。 2. **影响策略** - **精确率**:会受到模型将负例错误地标记为正例的影响。提升精确率的策略通常涉及提高模型对于正例的判断标准,减少误报。 - **召回率**:主要受到模型漏掉真实正例的影响。提升召回率的策略则关注于如何减少模型的漏报,即增加对正例的捕捉能力。 3. **计算公式** - **精确率**:Precision = TP / (TP + FP),其中 TP 是真正例(True Positives)的数量,FP 是假正例(False Positives)的数量。 - **召回率**:Recall = TP / (TP + FN),其中 FN 是假负例(False Negatives)的数量。 4. **应用场景** - **精确率**:在需要严格控制误报,即负例被错误地标记为正例的成本非常高的场景下,比如法律判决、医疗诊断等,高精确率是非常重要的。 - **召回率**:在漏报,即错过真实正例的代价非常大的场景下,如欺诈检测、病情筛查等,高召回率是关键。 5. **平衡性** - **精确率**:可能会随着召回率的提高而降低。在实际情况中,通常需要在精确率召回率之间达到一定的平衡,这可以通过F1分数(F1 Score)来衡量,它是精确率召回率的调和平均数。 - **召回率**:可能需要牺牲一定的精确率来提高。在一些情况下,提高召回率会导致精确率的下降,因为模型可能会将更多的负例错误地归类为正例。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值