分类问题中的各种评价指标——precision，recall，F1-score，macro-F1，micro-F1

最新推荐文章于 2024-03-31 12:30:41 发布
最新推荐文章于 2024-03-31 12:30:41 发布
阅读量1w 收藏 99
点赞数 15
分类专栏： NLP 文章标签： 分类 分类指标
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011412768/article/details/109052037
版权

目录

一、二分类评价指标

1、真实标签-预测标签的混淆矩阵

2、accuracy

3、precision、recall和F1-score

4、指标的选择问题

二、多分类评价指标

1、macro-F1

2、weight-F1

3、micro-F1

4、指标的选择问题

三、多标签分类评价指标

注：这篇文章只是对常用的分类问题中的评价指标的总结。

一、二分类评价指标

1、真实标签-预测标签的混淆矩阵

样本被预测为正样本被预测为负
实际样本为正TP（true positive）FN （false negative）
实际样本为负FP（false positive）TN（true negative）

     TP：这里的T表示true，样本被正确的预测了，p即positive，表示样本被预测为正样本。

     TN：正确的预测了该样本，且样本预测值是负样本

     FP：错误的预测了该样本，且样本被预测成了正样本，说明样本本身是负样本

     FN：错误的预测了该样本，且样本被预测成了负样本，说明样本本身是正样本

     以上的四个值，是样本的真实标签和预测标签之间会发生的所有关联情况，也是分类指标计算的基础。

2、accuracy

       accuracy，后面简称acc，是分类中非常常见的一种评价指标，也是非常好理解的一种评价指标，即所有被预测的样本，预测正确的概率是多少，这个其实是比较直观的，就是正确预测样本的占比，计算公式如下：

                                                                            acc = \frac{TP + TN}{TP + TN + FP + FN}

       acc指标存在一个问题，只要样本的标签预测正确了，acc就会上升。如果一个数据集中，正负样本严重失衡，所有的正样本能检测出来，所有的负样本检测不出来，最后的acc还是会很高，但是这样也没有意义。比如在癌症检测里面，不患病的正样本很多，患病的负样本很少，如果只是检测出那些没有患病的人，而患病的样本都没有检测出来，计算acc的时候还是很高，但是实际上acc就不是很适用这种场景，因为如果患了癌症而系统检测检测不出来，那这个检测系统根本就没有意义。

3、precision、recall和F1-score

       precision和recall经常一起出现，它们都是只关心预测正确的正样本占的比例，只是分母不一样。precision即准确度，也是衡量分类器能正确识别样本的能力，它表示的是，在被识别成正样本的样本中，正确预测的样本占的比例，通常叫做查准率。recall即召回率，它表示的是，被预测的所有正样本，能够被正确预测的占比，通常叫查全率。计算公式分别如下：

       对于F1-score，更一般的有：

       可以看出， F1-score是一个综合的评价指标。对于precision和recall的选择，个人认为应该根据实际的应用场景来，最后想要的是更多的检测出想要的样本，还是尽量少出错。

4、指标的选择问题

        例如，在一个癌症病人的检测系统里，我们更希望的是，尽可能多的检测出癌症病人，因为希望它们能得到及时的治疗，那么这个时候就应该用recall，也就是查全率，尽可能将所有的癌症样本识别出来。

        如果是在一个垃圾邮件检测系统中，我们当然也很希望尽量检测出垃圾邮件，但是如果把一封正常邮件识别为垃圾邮件，可能会带来很严重的后果。所以，在这种情况下，我们要保证的是系统对邮件的判断的正确性，那么就要用precision，也就是查准率，保证定性为垃圾邮件的样本不出错。

       对于precision和recall的选择，包括acc的选择，个人比较赞同的是根据实际的分类任务或者目标，来确定使用哪种指标。acc的话，一般肯定是样本比较均衡的时候一种比较好的选择。

        多分类模型Accuracy, Precision, Recall和F1-score的超级无敌深入探讨——NaNNN，这篇文章，作者还给出了一个需要同时考虑precision和recall的比较有趣的例子。

        分类问题的评估指标一览——老宋的茶书会，这篇文章作者也有给出一个指标的分析，但是觉得太过学术，不是很好理解。

二、多分类评价指标

        其实多分类评价指标也是从二分类评价指标演变而来的，现在来看一下各个指标实际关注的信息。

        对于accuracy来说，它是针对全局的样本的，只要样本被正确预测，公式的分子就加1，分母就是全部被预测的样本。所以，样本的类别标签对acc没有影响，acc只关注预测正确与否。所以，对于一个多分类模型，acc的计算方式跟二分类是一样的，都是以样本为单位的。

       对于其它指标的计算，如下：

1、macro-F1

      最直接的一种计算方式，就是分别计算每个类比的precision和recall，以此计算相应的F1，然后再用类别数平均一下F1，即为macro-F1，感觉这种计算方式比较好理解，也比较好实现。就是每个类别分别计算了，然后再平均。

2、weight-F1

         这种方式是在macro-F1的基础上考虑到类别不平衡的问题，假设有三类，样本数分别为c1,c2和c3，那么每一类的权重分别为ci/(c1+c2+c3)，则precision的计算方式是每个类别的precision和其权重的加权平均，recall也同理，F1则直接由precision和recall计算得到。

3、micro-F1

      这种方式是以样本为基本单位，直接根据公式计算全局的precision和recall，计算公式如下：

      对于micro-F1，有一个很有意思的性质：

     具体的可以参考这篇文章：多分类模型Accuracy, Precision, Recall和F1-score的超级无敌深入探讨——NaNNN

4、指标的选择问题

      从计算公式来看，micro-F1依赖于每个类别的识别准确度，而对于那些样本比较小的类别，可能会拉高precision，所以类别不平衡时用这个指标不怎么合适。在这篇文章：分类问题的评估指标一览——老宋的茶书会，中给出了类别不均衡带来的指标影响，以及指标选择的结论，部分如下：

“我们看到，对于 Macro 来说， 小类别相当程度上拉高了 Precision 的值，而实际上， 并没有那么多样本被正确分类，考虑到实际的环境中，真实样本分布和训练样本分布相同的情况下，这种指标明显是有问题的， 小类别起到的作用太大，以至于大样本的分类情况不佳。 而对于 Micro 来说，其考虑到了这种样本不均衡的问题， 因此在这种情况下相对较佳。

总的来说， 如果你的类别比较均衡，则随便； 如果你认为大样本的类别应该占据更重要的位置， 使用Micro； 如果你认为小样本也应该占据重要的位置，则使用 Macro； 如果 Micro << Macro ， 则意味着在大样本类别中出现了严重的分类错误； 如果 Macro << Micro ， 则意味着小样本类别中出现了严重的分类错误。

为了解决 Macro 无法衡量样本均衡问题，一个很好的方法是求加权的 Macro， 因此 Weighed F1 出现了。”

三、多标签分类评价指标

       参考：Machine Learning]分类问题的性能度量方法——二分类、多分类、多标签分类

                  多标签分类（multilabel classification ）

注：文章是在看了其它文章的基础上总结的，因为定义性的东西就是很确定的，所以公式就直接用其它文章的公式截图的(因为自己输入太耗时了)。对于觉得比较有参考价值的文章，已经在文中穿插给出链接了。本文章也仅作为自己对相关知识点的总结，一点点自己的白话理解，加上前辈的知识总结，以便日后有问题的时候可以再回顾，以免再再网上看多篇文章。 

_____miss
关注
  • 15
    点赞
  • 踩
  • 99
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
分类问题的评价指标（Precision、Recall、Accuracy、F1-Score、Micro-F1、Macro-F1）以及混淆矩阵、ROC曲线
少年龙龙的博客
05-11 1万+
文章目录一、四个基本概念 TP、FP、TN、FN二、精确率（precision）、召回率（recall）、准确率（accuracy）三、F1-Score（F1分数）四、宏平均 Macro-F1 、微平均 Micro-F1、加权平均 Weighted avg五、混淆矩阵（Confusion Matrix）六、ROC 曲线和 AUC（Area Under the Curve，曲线下面积） 一、四个基本概念 TP、FP、TN、FN 真阳性：预测为正，实际为正。把正样本成功预测为正。 TP——True Posit
在keras里面实现计算f1-score的代码
09-16
在Keras中，F1分数（F1-score）是一种常用的评价指标，特别是在二分类和多分类任务中，它综合考虑了模型的精确度（precision）和召回率（recall）。F1分数是精确度和召回率的调和平均值，可以更全面地反映模型的性能...
多分类下的评价指标：准确率，精确率，召回率，F1，ROC，AUC
Spanish_pie的博客
11-01 2960
在实际的数据集中经常会出现类不平衡（class imbalance）现象，即负样本比正样本多很多（或者相反），而且测试数据中的正负样本的分布也可能随着时间变化。当False Positive (FP)的成本代价很高 (后果很严重)时，即期望尽量避免产生FP时，应该着重考虑提高Precision指标。ROC 曲线越陡越好，所以理想值就是 1，一个正方形，而最差的随机判断都有 0.5，所以一般 AUC 的值是介于 0.5 到 1 之间的。为了更好的表征学习器在精确率和召回率的性能度量，引入 F1 值。
评价指标_Precision（精确率）、Recall（召回率）和Accuracy（准确率）区别和联系
惊鸿一博
03-31 1205
在实际应用中，需要根据具体的任务需求来选择使用哪种评价指标。如果任务更注重在预测为正例的样本中保持高的准确性，那么应该关注精确率；如果任务更注重找出所有真正为正例的样本，那么应该关注召回率；如果任务要求整体的预测准确性，那么应该关注准确率。Precision（精确率）、Recall（召回率）和Accuracy（准确率）是机器学习和信息检索领域常用的评价指标，它们用于评估分类器或检索系统的性能，但各自关注的方面略有不同。
机器学习 F1-Score, recall, precision
热门推荐
Matrix-11
12-31 7万+
在机器学习，模式识别中，我们做分类的时候，会用到一些指标来评判算法的优劣，最常用的就是识别率，简单来说，就是 acc=Npre/Ntotalacc=N_{pre}/N_{total} 这里的 NpreN_{pre}表示预测对的样本数，NtotalN_{total}表示测试集总的样本数。 识别率有的时候过于简单， 不能全面反应算法的性能，除了识别率，还有一些常用的指标，就是我们要介绍的
详解分类指标Precision，Recall，F1-Score
酒酿小圆子呀～
07-20 3435
在使用机器学习算法的过程中，我们需要对建立的模型进行评估来辨别模型的优劣，下文中主要介绍常见的几种评估指标。以下指标都是对分类问题的评估指标。在二分类任务中，假设只有正类（1）和负类（0）两个类别，True（1）和False（0）分别表示预测结果对或错；Positive（1）和Negative（0）表示预测为正类或负类。这里：True/False代表判断结果是否正确，Positive/Negative代表预测类别结果。
精确度(Precision)、召回率(Recall)和F1_Score
Ling的博客
09-06 1万+
欢迎使用Markdown编辑器写博客 在衡量模型性能好坏时，我们经常用到准确率、召回率和F1评分，再此做记录，以防遗忘。 https://blog.csdn.net/gagalaha/article/details/51327083 Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdow...
正确率/精度（precision）,召回率（recall）,F1-score，ROC 曲线，AUC值
Amberrr的博客
09-03 1700
准确率（accuaracy）= (TP+TN)/ ALL 即（TP+TN+FP+FN）,是我们最熟知的。 正确率/精度（precision）,召回率（recall）,F1-score，ROC 曲线，AUC值 1.正确率（precision）= TP / (TP + FP) 真正正确的在所有判断为正确的比例。 2.召回率（recall） = TP/(TP+FN) 所有正确的准确判断出来的概率。 3.F1-值(F1-score) = 2 * TP / (2 * TP+FP+FN) 是正确率和召回...
f1-recall-precisionf1-recall-precision
最新发布
06-26
f1-recall-precisionf1-recall-precision
使用keras实现Precise, Recall, F1-socre方式
09-16
在分类问题中，我们通常会使用一系列评价指标来衡量模型的准确性，其中精确率（Precision）、召回率（Recall）和F1分数（F1-score）是非常重要的三个指标。Keras是一个高级神经网络API，它允许用户方便地构建和训练...
prec_rec.zip_Curves_Recall_precision recall_precision-recall_rec
09-23
Draws Precision REcall curves
在pytorch 中计算精度、回归率、F1 score等指标的实例
09-18
通常我们会关注几个重要的指标，如精度（Accuracy）、召回率（Recall）和F1分数（F1 Score）。这些指标可以帮助我们理解模型在不同情况下的表现，而不仅仅是依赖于单一的正确率。以下是对这些指标的详细解释，以及...
基于基于TensorFlow的CNN-RNN中文文本分类项目源码+使用文档（高分项目）.zip
03-29
基于基于TensorFlow的CNN-RNN中文文本分类项目源码+使用文档（高分项目）.zip在测试集上的准确率达到了96.04%，且各类的precision, recall和f1-score都超过了0.9。从混淆矩阵也可以看出分类效果非常优秀。 data/...
PG_Curve-master.rar_precision recall_recall_precision_roc_分类 roc
07-15
分类结果处理：混淆矩阵，precision，recall，roc等
浅谈keras中自定义二分类任务评价指标metrics的方法以及代码
09-16
在Keras中，二分类任务的评估通常依赖于内置的评价指标，如`binary_accuracy`，它计算的是预测正确的样本比例。然而，在某些场景下，我们可能需要更细致的评估模型性能，比如精确率（Precision）、召回率（Recall）...
sa-uta7-recall-precision:UTA7统计分析的召回率和精确度结果
05-12
该存储库旨在为我们对中的问题的统计分析收集一套 。 为了这个目的，我们正在计算代表我们的（或）的几个热图。 简而言之，是对分类问题的预测结果的简短描述。 在我们的，我们正在为数据集测量这些预测的频率。 ...
机器学习_评价指标Accuracy（准确率）、Precision（精准度/查准率）、Recall（召回率/查全率）、F1 Scores详解
关注大家关注我
07-20 1431
首先我们先上一个整体的公式： 混淆矩阵 真实情况 T或F 预测为正1，P 预测为负0，N 本来的label为1，则预测结果正的话为T，负的话为F TP（正样本预测为正） FN（正样本预测为假） – – – 本来label为0，则预测结果正的话为T，负的话为F FP（负样本预测为正） TN（负样本预测为负） 混淆矩阵可以清楚的看出错判的样本，以便后续训练重视。 混淆矩阵中的相关名词也是我们后面要将的几个评价指标的重要变量。 Error Rate（错误率）和Accuracy（准确率
准确率（precision）、召回率（recall）和f1-score
weixin_43837731的博客
03-09 403
快速理解什么是精准率、召回率和f1-score
为什么Precision高Recall就低——F1 score
未名方略
04-16 1万+
F-score
怎么把 2 0.86 0.43 0.57 1628 micro avg 0.88 0.88 0.88 21729 macro avg 0.87 0.75 0.79 21729 weighted avg 0.88 0.88 0.87 21729 samples avg 0.88 0.88 0.88 21729 precision recall f1-score support 0 0.92 0.92 0.92 10762分成 2 0.86 0.43 0.57 1628 micro avg 0.88 0.88 0.88 21729 macro avg 0.87 0.75 0.79 21729 weighted avg 0.88 0.88 0.87 21729 samples avg 0.88 0.88 0.88 21729和 precision recall f1-score support 0 0.92 0.92 0.92 10762
06-03
这个文本是一个混淆矩阵的输出结果，而且其中还包含了其它的统计信息，因此需要更加复杂的字符串处理。下面是一个示例代码，可以将其拆分成多个部分： ```python result = " 2 0.86 0.43 0.57 1628 micro avg 0.88 0.88 0.88 21729 macro avg 0.87 0.75 0.79 21729 weighted avg 0.88 0.88 0.87 21729 samples avg 0.88 0.88 0.88 21729 precision recall f1-score support 0 0.92 0.92 0.92 10762" # 拆分成多个部分 parts = result.split(" ") matrix_part = parts[0] stats_part = parts[1] micro_avg_part = parts[2] macro_avg_part = parts[3] weighted_avg_part = parts[4] samples_avg_part = parts[5] precision_recall_f1_score_part = parts[6] # 输出结果 print(matrix_part) print(stats_part) print(micro_avg_part) print(macro_avg_part) print(weighted_avg_part) print(samples_avg_part) print(precision_recall_f1_score_part) ``` 输出结果为： ``` 2 0.86 0.43 0.57 1628 micro avg 0.88 0.88 0.88 21729 macro avg 0.87 0.75 0.79 21729 weighted avg 0.88 0.88 0.87 21729 samples avg 0.88 0.88 0.88 21729 precision recall f1-score support 0 0.92 0.92 0.92 10762 ``` 其中，`matrix_part` 表示混淆矩阵的部分，`stats_part` 表示统计信息的部分，`micro_avg_part` 表示微平均的部分，`macro_avg_part` 表示宏平均的部分，`weighted_avg_part` 表示加权平均的部分，`samples_avg_part` 表示样本平均的部分，`precision_recall_f1_score_part` 表示每个类别的精确率、召回率和 F1 值的部分。你可以根据需要对这些部分进行进一步的处理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值