模型评估指标中分类评价指标(acc，recall ,precision,F1,fusion matrix, kappa,roc)

已于 2023-12-13 10:47:04 修改
阅读量1.2w 收藏 52
点赞数 8
文章标签： 机器学习 python 数据分析 1024程序员节
于 2020-11-19 12:56:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41999081/article/details/109789113
版权
本文主要梳理不同类型的分类评价指标原理。先介绍了Accuracy、Precision、recall等概念及计算示例，还提到F值、ROC用于评判二分类模型性能，混淆矩阵可计算多标签情况，Kappa系数用于一致性检验和判断分类精度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

         通常我们在构建模型之后都会涉及到一个模型的精度评价。针对不同的模型由主要可以分回归评价指标和分类评价指标，本文主要是想梳理一下各种不同类型的分类评价指标原理。

分类评价指标

在了解二分类之前需要先了解下面四个概念

TP（正确预测正分类结果）FP(错误预测正分类结果)
TN(正确预测负分类结果)FN（错误预测负分类结果

Accuracy（总体分类精度）：预测正确的样本数 / 所有的样本数

    accuracy =\frac{ (tp+tn)}{tp+fp+tn+fn}

Precision（精确度）：正确预测正分类的样本数 / 预测为正样本的样本数 

你真正预测对的正样本占了所有正样本的比例，就是预测对了的占比如何

precision = \frac{tp}{tp+fp}   

recall（召回率）：正确预测正分类的样本数 / 所有正样本数

简单来说：你真正预测对的正样本占了你预测的所有正样本的比例，考虑的是预测错了占比如何

recall = \frac{tp}{tp+fn}

比如我有10张图，5张猫，5张狗，我全部预测为猫，猫预测全对，猫的召回：5/（5+0）=100%，猫的精度：5/（5+5）=50%。同理，剩下5张狗也也预测为了猫，狗的召回：0/（5+0） = 0%，狗的精度：0%

F值：综合precision和recall得分，是precision和recall的调和均值，当中的\beta通常取0.5 ，1 ， 2 代表精确度的权重占比

F_{\beta } = (1+\beta^{2} )\frac{precision\times recall} {\beta^{2} precision + recall}      

ROC 全称 Receiver operating characteristic，作为一个图形，随着判断阈值的变化，常用于评判二分类模型的性能，横纵表FPR(false positive rate) = FP/(FP+TN) 表示在所有实际为负类的样本中，被错误的判断为正类的比率；纵坐标TDR(True positive rate) = TP/(TP+FN) 表示在所有实际为正类的样本中，被正确的判断为正类的比率。通常来说，横坐标越小，纵坐标的值越大，ROC的面积越大，模型的效果也就越好，python代码详见Receiver Operating Characteristic (ROC) — scikit-learn 1.1.1 documentation：

混淆矩阵（Multilabel confusion matrix）计算多标签的混淆矩阵，再多分类任务中，标签以“一对多”的方式进行二值化：

confusion matrix

预测值
类别1类别2类别3
真实值类别1abc
类别2def
类别3ghi

表中的a,e,i表示正确分类，类别1的precision= a/(a+d+g)  ,类别1的recall = a/(a+b+c),类别2，类别3的precision和recall同理。

Kappa：kappa系数常用于一致性检验，也用于判断分类精度，kappa系数的计算通常是基于混淆矩阵的，kappa精度评价参考每日一学 kappa系数_阿尔卑斯山脉的小菇凉的博客-CSDN博客_kappa系数：

K = \frac{p_{o}-p_{e}}{1-p_{e}}

混淆矩阵中正确分类的样本数（对角线的值）除以所有样本数 ：p_{o} = \frac{a+e+i}{a+b+c+d+e+f+g+h+i}   

混淆矩阵中每一类的真实值于每一类的预测值相乘求和 /  (总样本数) ^2： 

逍遥豚
关注
『NLP学习笔记』Sklearn计算准确率、精确率、召回率及F1 Score
AI新视界
12-07 1万+
分类是机器学习中比较常见的任务，对于分类任务常见的评价指标有 准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1 score、ROC曲线(Receiver Operating Characteristic Curve)等。
分类任务中的评估指标：Accuracy、Precision、Recall、F1
一杯水果茶！足矣~
03-28 1563
分类任务中的评估指标概念及理解，简单易懂。
常见的性能评价指标（ACC-7，ACC，F1，MAE ，Corr ）
weixin_56533314的博客
10-14 2349
在多模态情感分析等机器学习任务中，和是常见的性能评价指标。它们用于评估模型在分类或回归任务中的表现，帮助研究人员和开发人员了解模型的预测准确性、误差大小和预测能力。
模型评估——acc、P、R、F值、交叉验证、K折交叉验证
最新发布
qq_64296768的博客
03-15 1045
所以一般评估模型采用分类准确率acc、精确率P、召回率R来综合来评价一个模型。但是一般来说，精确率P和召回率R会一个高一个低，需要对其进行取舍。所以为了更为全面的评估一个模型的好坏，，使用测试集进行对模型的评估，对测试数据计算测试数据的误差的平方，再取其平均值，也就是。在计算P、R、F值的时，统计的对象可能是TP，也可以是TN。那么我们该如何选择呢？设定过大，会增加时间的耗费。确定一个合适的K值。
【分类指标】如何评估多分类（二分类）算法、Acc、Precision、Recall、F1详解
Danger的博客
02-22 1万+
【分类评价指标】如何评估多（二）分类算法的性能：Acc、Precision、Recall、F1等
机器学习常用评价指标：ACC、AUC、ROC曲线
shiaiao的博客
10-06 7万+
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、混淆矩阵二、评价指标1.准确度（Accuracy）总结欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一
分类模型评估指标：Accuracy、Precision、Recall、F1、ROC曲线、AUC、PR曲线
m0_51448653的博客
10-26 1273
Accuracy=TT+TFALLAccuracy = \frac{TT + TF}{ALL}Accuracy=ALLTT+TF​1.分类器到底分对了多少？ 2.返回的图片中正确的有多少？ 3.有多少张应该返回的图片没有找到？ 这个问题可以通过Recall值来体现（因为Recall值 = 有多少张应该返回的图片没有找到 / 应该返回的图片总数，该公式中除了"有多少张应该返回的图片没有找到"的值是变量以外，其它均为常数）召回率代表“本应返回的照片中，实际返回了多少”Recall为返回的图片中汉堡的图片的数目
机器学习分类模型评价指标之Accuracy、Precision、Recall、F-Score、P-R Curve、AUC、AP 和 mAP
博观约取，厚积薄发
11-21 8453
本文旨在说明其他机器学习模型的评价指标。
AI系统量化评价-模型评估方法、网络评价指标
02-03
本文将详细探讨模型评估方法、目标检测评估、目标跟踪评估及其相关的网络评价指标。 1. **模型评估方法** - **偏差与方差分析**：偏差和方差是评估模型性能的两个核心概念。偏差是指模型的预测结果与真实值之间的...
神经网络中的评价指标：混淆矩阵、Acc, Precision, Recall, F1分数、mAP@0.5与mAP@0.5:0.95的含义
LIN2020LOVEDA的博客
08-07 2837
神经网络中的评价指标：混淆矩阵、Acc, Precision, Recall, AP, mAP、mAP@0.5与mAP@0.5:0.95的含义
分类问题的评价指标（Precision、Recall、Accuracy、F1-Score、Micro-F1、Macro-F1）以及混淆矩阵、ROC曲线
少年龙龙的博客
05-11 1万+
文章目录一、四个基本概念 TP、FP、TN、FN二、精确率（precision）、召回率（recall）、准确率（accuracy）三、F1-Score（F1分数）四、宏平均 Macro-F1 、微平均 Micro-F1、加权平均 Weighted avg五、混淆矩阵（Confusion Matrix）六、ROC 曲线和 AUC（Area Under the Curve，曲线下面积） 一、四个基本概念 TP、FP、TN、FN 真阳性：预测为正，实际为正。把正样本成功预测为正。 TP——True Posit
聚类算法评价指标Precision，F-meare，F1，ACC
03-11
聚类算法评价指标
PG_Curve-master.rar_precision recall_recall_precision_roc_分类 roc
07-15
在IT行业中，尤其是在数据分析和机器学习领域，"PG_Curve-master.rar_precision recall_recall_precision_roc_分类 roc"这个标题和描述涉及到的是评估分类模型性能的关键概念。这些概念是理解和优化模型不可或缺的...
python + sklearn ︱分类效果评估——acc、recall、F1、ROC、回归、距离
热门推荐
素质云笔记
07-16 8万+
之前提到过聚类之后，聚类质量的评价： 聚类︱python实现 六大 分群质量评估指标（兰德系数、互信息、轮廓系数） R语言相关分类效果评估： R语言︱分类器的性能表现评价（混淆矩阵，准确率，召回率，F1,mAP、ROC曲线）.一、acc、recall、F1、混淆矩阵、分类综合报告1、准确率第一种方式：accuracy_score# 准确率 import numpy as np from skl
推荐算法评价指标(ACC、查全率、查准率、F1-Score、ROC、AUC,P-R)
traveler-leon的博客
04-27 1万+
推荐系统的评价指标很多，今天介绍：准确率(ACC)、查准率(P精确率)、查全率(R召回率)、F1-score、ROC、AUC
简单机器学习评估指标中分类评价指标(acc，recall ,precision,F1,fusion matrix,
强化学习曾小健
08-15 451
既可以兼顾precision又可以兼顾recall。F1_score越高说明precision和recall达到了一个很高的平衡点。Tradeoff 会让准确率和召回率顾此失彼。逻辑回归（模型）：输出概率，
【推荐系统1---评价指标ACC、Recall、Precision、F1 score、HR、MRR、NDCG】
qq_45584615的博客
10-09 1192
S为样本的数目，可以理解为用户的需求项的数目。FP：False&Positive（positive表示正样本，false表示预测错误，即预测为正样本，实际也是负样本）FN：False&Negative（negative表示负样本，false表示预测错误，即预测为负样本，实际是正样本）预测结果列表中预测正确的样本占所有样本的比例，即用户想要的项目有没有推荐到，强调预测的“准确性”。预测为1的样本中实际为1的频率，也就是TP/（TP+FP）实际为1的样本中被预测为1的频率，TP/（TP+FN）
关于多分类的评价指标acc、pre、recall、f1
ARYAD的博客
08-21 3009
1.准确率ACC： overall： 准确率是分类正确的样本占总样本个数的比例，即 其中， ncorrect​为被正确分类的样本个数， ntotal​为总样本个数。 结合上面的混淆矩阵，公式还可以这样写： y_pred = [0, 2, 1, 3] y_true = [0, 1, 2, 3] print(accuracy_score(y_true, y_pred)) # 0.5 print(accuracy_score(y_true, y_pred, normalize=False)) # 2
数据挖掘-分类器的ROC曲线及相关指标（ROC、AUC、ACC）详解
身披白袍的博客
09-19 2万+
ROC曲线，常常与二分类问题及两类错误率相关。
深入理解ROC曲线与分类评估指标
资源摘要信息: "PG_Curve-master.rar文件包包含与机器学习及分类问题紧密相关的多个性能评估工具和概念，专注于精确率（precision）、召回率（recall）以及接收者操作特征曲线（ROC）的计算和绘制。" 知识点详细...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值