关闭

Accuracy,Percision,Recall,Fb-Score

50人阅读 评论(0) 收藏 举报
分类:

在论文阅读的evaluation部分中,经常会看到Accuracy和Precision的评价指标。两者是否是同一事物呢?

 

先看一段英文解释:

In the fields of engineering, industry and statistics, the accuracy of a measurement system is the degree of closeness of measurements of aquantity to its actual (true) value. The precision of a measurement system, also called reproducibility or repeatability, is the degree to which repeated measurements under unchanged conditions show the same results. Although the two words can be synonymous in colloquial use, they are deliberately contrasted in the context of the scientific method.

可见,两者是不一样的。

考虑一个二分问题:

预测类别

Yes

No

总计

Yes

TP

FN

P实际为Yes

No

FP

TN

N实际为No

总计

P’分为Yes

N’分为No

P+N

1)True positives(TP): 被正确地划分为正例的个数,即实际为正例且被分类器划分为正例的实例数(样本数);(真正类率)

2)False positives(FP): 被错误地划分为正例的个数,即实际为负例但被分类器划分为正例的实例数;(假正类率)

3)False negatives(FN):被错误地划分为负例的个数,即实际为正例但被分类器划分为负例的实例数;(假负类率)

4)True negatives(TN): 被正确地划分为负例的个数,即实际为负例且被分类器划分为负例的实例数。(真负类率)

上图是这四个术语的混淆矩阵,注意P=TP+FN表示实际为正例的样本个数,而不是TP+FP,这里只要记住True、False描述的是分类器是否判断正确,Positive、Negative是分类器的分类结果。

有下列评价指标:

1)正确率(accuracy)

正确率是我们最常见的评价指标,accuracy = (TP+TN)/(P+N),这个很容易理解,就是被分对的样本数除以所有的样本数,通常来说,正确率越高,分类器越好;

2)错误率(error rate)

错误率则与正确率相反,描述被分类器错分的比例,error rate = (FP+FN)/(P+N),对某一个实例来说,分对与分错是互斥事件,所以accuracy =1 - error rate;

3)灵敏度(sensitive)

sensitive = TP/P,表示的是所有正例中被分对的比例,衡量了分类器对正例的识别能力;

4)特效度(specificity)

specificity = TN/N,表示的是所有负例中被分对的比例,衡量了分类器对负例的识别能力;

5)精度(precision)

精度是精确性的度量,表示被分为正例的示例中实际为正例的比例,precision=TP/(TP+FP);

6)召回率(recall)

召回率是覆盖面的度量,度量有多个正例被分为正例,recall=TP/(TP+FN)=TP/P=sensitive,可以看到召回率与灵敏度是一样的。

7)其他评价指标

  • 计算速度:分类器训练和预测需要的时间;
  • 鲁棒性:处理缺失值和异常值的能力;
  • 可扩展性:处理大数据集的能力;
  • 可解释性:分类器的预测标准的可理解性,像决策树产生的规则就是很容易理解的,而神经网络的一堆参数就不好理解,我们只好把它看成一个黑盒子。

对于某个具体的分类器而言,我们不可能同时提高所有上面介绍的指标,当然,如果一个分类器能正确分对所有的实例,那么各项指标都已经达到最优,但这样的分类器往往不存在。比如我们开头说的地震预测,没有谁能准确预测地震的发生,但我们能容忍一定程度的误报,假设1000次预测中,有5次预测为发现地震,其中一次真的发生了地震,而其他4次为误报,那么正确率从原来的999/1000=99.9%下降到996/1000=99.6,但召回率从0/1=0%上升为1/1=100%,这样虽然谎报了几次地震,但真的地震来临时,我们没有错过,这样的分类器才是我们想要的,在一定正确率的前提下,我们要求分类器的召回率尽可能的高。

Fb-score是准确率和召回率的调和平均:Fb=[(1+b2)*P*R]/(b2*P+R),比较常用的是F1。这个指标可以兼顾两者,可以用b来调整两者在评价指标里的比重。

分类正确率(Accuracy),不管是哪个类别,只要预测正确,其数量都放在分子上,而分母是全部数据数量,这说明正确率是对全部数据的判断。而准确率在分类中对应的是某个类别,分子是预测该类别正确的数量,分母是预测为该类别的全部数据的数量。或者说,Accuracy是对分类器整体上的正确率的评价,而Precision是分类器预测为某一个类别的正确率的评价。

0
0
查看评论

Percision Recall F-Measure

为了能够更好的评价IR系统的性能,IR有一套完整的评价体系,通过评价体系可以了解不同信息系统的优劣,不同检索模型的特点,不同因素对信息检索的影响,从而对信息检索进一步优化。 由于IR的目标是在较短时间内返回较全面和准确的信息,所以信息检索的评价指标通常从三个方面考虑:效率、效果和其他如数据...
  • michelle190
  • michelle190
  • 2014-10-29 11:39
  • 483

准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measure,confusion matrix

自然语言处理(ML),机器学习(NLP),信息检索(IR)等领域,评估(Evaluation)是一个必要的工作,而其评价指标往往有如下几点:准确率(Accuracy),精确率(Precision),召回率(Recall)和F1-Measure。 本文将简单介绍其中几个概念。中文中这几个评价指标翻译...
  • neilol
  • neilol
  • 2015-09-04 17:46
  • 1770

Precision,Recall,F1score,Accuracy的理解

Precision,Recall,F1score,Accuracy四个概念容易混淆,这里做一下解释。假设一个二分类问题,样本有正负两个类别。那么模型预测的结果和真实标签的组合就有4种:TP,FP,FN,TN,如下图所示。这4个分别表示:实际为正样本你预测为正样本,实际为负样本你预测为正样本,实际为正...
  • u014380165
  • u014380165
  • 2017-08-23 08:17
  • 944

理解准确率(accuracy)、精度(precision)、查全率(recall)、F1

详解衡量机器学习模型分类结果的四个关键指标
  • ybdesire
  • ybdesire
  • 2016-12-13 21:32
  • 4487

Precision、Recall and Mean Average Precision(MAP)

基本概念 Precision准确度 Recall召回率 Precision-Recall 曲线 MAP Reference论文 [1] 介绍了一种用于形状分类的metric,理论部分作者给出几组shape inference 的例子说明该metric的完备性。在实际应用部分,作者将该metric用到...
  • HIT_ChenPeng
  • HIT_ChenPeng
  • 2017-01-14 14:25
  • 571

AUC,Accuracy,Precision,Recall

roc曲线:接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。 横轴:负正类率(false postive rate FPR)特异度,划分实例中所有负例占所有负例的比例 纵轴:真正类率(true postive r...
  • qq_28357683
  • qq_28357683
  • 2017-03-01 09:26
  • 323

【机器学习理论】第6部分 准确率Accuracy,精确度Precision,召回率Recall,F-Score

准确率和召回率是用于信息检索和统计学分类领域的两个度量值,用于评价结果的质量,在机器学习中对于数据进行预测的过程中,同样的使用这些指标来评价预测的结果的质量。 准确率是检索出相关文档数与检索出的文档总数的比率,衡量的是检索系统的查准率; 召回率是指检索出的相关文档数和文档库中的...
  • kevinelstri
  • kevinelstri
  • 2017-03-09 14:15
  • 1741

机器学习中的 precision、recall、accuracy、F1 Score

1. 四个概念定义:TP、FP、TN、FN先看四个概念定义: - TP,True Positive - FP,False Positive - TN,True Negative - FN,False Negative如何理解记忆这四个概念定义呢?举个简单的二元分类问题 例子:假设,我们要对某...
  • simplelovecs
  • simplelovecs
  • 2016-01-14 22:16
  • 5824

准确率(accuracy)、精确率(Precision)、召回率(Recall)

准确率(accuracy),精确率(Precision)和召回率(Recall)[2] 是信息检索,人工智能,和搜索引擎的设计中很重要的几个概念和指标。中文中这几个评价指标翻译各有不同,所以一般情况下推荐使用英文。 概念介绍 先假定一个具体场景作为例子。 假如某个班级有男生80人,女生20人...
  • u014221266
  • u014221266
  • 2014-10-26 13:33
  • 2436

机器学习常见评价指标:AUC、Precision、Recall、F-measure、Accuracy

机器学习常见评价指标:AUC、Precision、Recall、F-measure、Accuracy 主要内容 AUC的计算 Precision、Recall、F-measure、Accuracy的计算 1、AUC的计算   AUC是一个模型评价指标,用于二分类模型的评价。AUC是“Area u...
  • zhihua_oba
  • zhihua_oba
  • 2017-11-30 16:11
  • 227
    新家地址
    个人资料
    • 访问:53565次
    • 积分:1317
    • 等级:
    • 排名:千里之外
    • 原创:80篇
    • 转载:8篇
    • 译文:0篇
    • 评论:7条
    文章分类
    最新评论