python多分类画混淆矩阵_【AI基础】分类器评估一：混淆矩阵、准确率、精确率、召回率、灵敏度、特异度、误诊率、漏诊率...

最新推荐文章于 2024-08-19 20:05:05 发布
最新推荐文章于 2024-08-19 20:05:05 发布
阅读量732 收藏 1
点赞数
文章标签： python多分类画混淆矩阵
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39545329/article/details/111615238
版权
本文介绍了混淆矩阵在机器学习中的作用，通过一个鉴宝的例子解释了准确率、精确率、召回率等评估指标的计算方法，并探讨了它们之间的关系。
摘要由CSDN通过智能技术生成

混淆矩阵

在机器学习中尤其是统计分类中，混淆矩阵（confusion matrix），也被称为错误矩阵（error matrix）。之所以叫做混淆矩阵，是因为能够很容易的看到机器学习有没有将样本的类别给混淆了。都是基于混淆矩阵的。混淆矩阵结构如下图。

06eaa79a90ab706a273fc0444a1a84c3.png
混淆矩阵结构

矩阵的每一列表达了分类器对于样本的类别预测，矩阵的每一行则表达了版本所属的真实类别。每个元素名称都由两部分组成：1.真或假，2.正例或反例。真和假是预测结果是否正确，正例反例是预测的结果。可以看出，对角线的元素是预测正确的元素。

下面还是以前文锤哥的例子讲混淆矩阵。假设锤哥在鉴宝节目鉴别了100个瓷器。其中真品（正例）80个，赝品（反例）20个。锤哥大部分都看准了，但也有的看走了眼。错把3个赝品当成了真品，错把5个真品当成了赝品。这样锤哥鉴定结果为真品78个，其中75个是真真品，3个是假真品；赝品22个，其中17个是真赝品，5个是假赝品。画出混淆矩阵如下。

a4f3c3f0c6b1481257259330aaa643c7.png
锤哥的混淆矩阵

混淆矩阵用最简洁的性质准确刻画了分类器的优劣，是大多数分类器评估指标的基础，多数指标都是从混淆矩阵衍生出来的。

准确率/accuracy

从混淆矩阵看出，对角线是预测正确的样本数，反对角线是预测错误的样本数。将对角线元素加和得到所有预测正确的个数，除以总样本数就得到了准确率。公式：accuracy = (TP+TN) / (TP+TN+FP+FN)。

准确率是全部样本中预测正确的比例，没有将正例和反例分开考察。

锤哥的例子中，accuracy = (75 + 17) / 100 = 0.92。代表锤哥每做一个鉴定，有92%的概率鉴定对。

查准率/精确率/precision/P

查准率是预测为正例的样本中，实际为正例的占比。是锤哥所有鉴定中，鉴定对的比例。

公式：P = TP / (TP+FP)。是对预测正例的预测准确性的一种度量。

锤哥的例子中，R = 75 / (75 + 3) = 0.9615。代表如果锤哥如果鉴定为正品，有96.15%的概率也确实为正品。

查全率/召回率/recall/R

查全率是实际为正例的样本中，预测为正例的占比。是实际为正品中，被锤哥鉴定为正品的瓷器占比。

公式：R = TP / (TP+FN)。是对真实正例的预测覆盖面的一种度量。

锤哥的例子中，P = 75 / (75 + 5) = 0.9372。代表如果一个瓷器为正品，那有93.72%的概率被锤哥鉴定为正品。

灵敏度/真正例率/sensitivity/TPR

召回率的另一种叫法。公式：TPR = TP / (TP+FN)。

特异度/真反例率/specificity/TNR

特异度是实际为反例的样本中，预测为反例的占比。是实际为赝品的瓷器中，被锤哥鉴定为赝品的占比。

公式：TNR = TN / (FP+TN)。是对真实反例的预测覆盖面的一种度量。

锤哥的例子中，TNR = 17 / (3 + 17) = 0.85。代表如果锤哥将一个瓷器鉴定为赝品，这个瓷器有85%的概率确实为赝品。

误诊率/假正例率/FPR

误诊率是实际为反例的样本中，预测为正例的占比。是实际为赝品的瓷器中，被锤哥鉴定为正品的瓷器占比。

公式：FPR = 1 - TNR = FP / (FP+TN)。和TNR一样，是对真实反例的预测覆盖面的一种度量。

锤哥的例子中，FPR = 3 / (3 + 17) = 0.15。代表如果锤哥将一个瓷器鉴定为赝品，这个瓷器有15%的概率实际为正品。

漏诊率/假反例率/FNR

漏诊率是实际为正例的样本中，预测为反例的占比。是实际为正品的瓷器中，被锤哥鉴定为赝品的占比。

公式：FNR = 1 - TPR = TP / (TP+FN)。和TPR 一样，是对真实正例的预测覆盖面的一种度量。

锤哥的例子中，FNR = 3 / (75 + 3) = 0.0385。代表如果锤哥将一个瓷器鉴定为正品，这个瓷器有3.85%的概率实际为赝品。

总结

准确率是整体刻画预测准确性的指标。查准率和查全率是从正例预测角度的一对度量指标。灵敏度和特异度，漏诊率和误诊率是从预测覆盖面角度的一对度量指标。前五个指标，分子都是预测正确个数。后两个指标，分子都是预测错误的个数。

查准率和查全率是负相关的关系，一般此消彼长（P-R曲线图形）。要提升查准率，必然将条件设置的严格一些，以尽可能将反例排除，这就导致了部分正例也被排除，查全率下降；要提升查全率，必然将条件设置的宽松一些，以尽可能将正例包含，这就导致了部分反例也被包含，查准率下降。

真正例率和假正例率以正相关的关系，一般变化方向相同（ROC曲线图形）。要提升真正例率（查全率）必然将条件设置的宽松一些，以尽可能将正例包含，这就导致了部分反例也被包含，假正利率升高。真反例率和假反例率的关系相同。

了解更多欢迎关注我的公众号和专栏。

微信公众号：曲曲菜

知乎专栏：AI和金融模型

原创作品，未标明作者不得转载。

weixin_39545329
关注
Python 机器学习 基础 之 模型评估与改进 【评估指标与评分】的简单说明
仙魁XAN
05-28 1538
Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。
混淆矩阵、精确率、召回率、F1值、ROC曲线、AUC曲线
vincent_duan的专栏
10-29 4393
假设一个分类器A，分类器A的作用是告诉你一张图片是不是汉堡，我们如果想知道这个分类器的效果到底好不好，如何做？ 最简单的方法就是将手机里所有的图片都扔给分类器A看，让分类器告诉我们哪些是汉堡 我们无法直观的看到这个分类器的效果怎么样，有没有一种更好地办法来直观而又不损失信息的表示它的实验结果。 一张图片的真实类别有两种情况（是汉堡，不是汉堡），分类器的预测类别也可以告诉我们两种情况（是汉堡，不是汉堡）。所以得到下面这张图，这张图就是混淆矩阵（Confusion Matrix）： 根据混淆矩阵，我们看到薄
多分类问题中混淆矩阵(Confusion Matrix)的Matlab画法
12-07
Matlab code for computing and visualization: Confusion Matrix, Precision/Recall, ROC, Accuracy, F-Measure etc. for Classification. Matlab通过分类的label计算混淆矩阵Confusion Matrix并且显示的函数只要一句代码就行了，方便。 [confusion_matrix]=compute_confusion_matrix(predict_label,num_in_class,name_class);
机器学习-混淆矩阵
最新发布
2301_77698138的博客
08-19 2501
随着机器学习和人工智能的迅速发展，分类模型成为了解决各种问题的重要工具。然而，仅仅知道模型预测对了多少样本是不够的。我们需要一种更详细、更系统的方法来理解模型的分类能力，以及它在不同类别上的表现。混淆矩阵是机器学习中一种评估分类模型性能的工具，特别是在监督学习中。它主要用于描述分类模型的预测结果与实际样本类别之间的关系。混淆矩阵通过矩阵的形式，展示了每个类别中预测正确的样本数和预测错误的样本数。
混淆矩阵中的准确率与召回率
baibingbingbing的博客
08-22 1万+
我们倾向于使用准确率，是因为熟悉它的定义，而不是因为它是评估模型的最佳工具！精度（查准率）和召回率（查全率）等指标对衡量机器学习的模型性能是非常基本的，特别是在不平衡分布数据集的案例中，在周志华教授的「西瓜书」中就特别详细地介绍了这些概念。 GitHub 地址：https://github.com/WillKoehrsen/Data-Analysis/blob/master/recall_pre...
混淆矩阵，准确率，精准率，召回率
abc_xian的博客
06-22 1万+
摘自：https://zhuanlan.zhihu.com/p/46714763 混淆矩阵 P（Positive）：代表1 N（Negative）：代表0 T（True）：代表预测正确 F（False）：代表错误 照上面的字符表示，混淆矩阵就变成了下面这样： TP：预测为1，实际1，预测正确 FP：预测为1，实际0，预测错误 FN：预测为0，实际1，预测错确 TN：预测为0，实际0，预测正确 2. 准确率 准确率的定义是预测正确的结果占总样本的百分比，其公式如下： 准确率=(T
python 多分类 recall_多分类如何根据混淆矩阵求准确率、精准率、和召回率？
weixin_42355744的博客
02-09 5766
对于多分类问题，首先，对于每一个类的精准率(Precision)和召回率(Recall)，定义和二分类问题一致，但是计算上不再需要TP,FP,FN等量了：)比如对A, B, C三类有如下混淆矩阵：ABCA1012B2113C538行表示真值；列表示预测值。此时，每一类都有自己的精准率和召回率。精准率表示正确预测X占所有预测X的比例。所以对于A类来说，Prec...
混淆矩阵、准确率、精确率、召回率、F1值
lsh呵呵
03-06 3985
1 . sklearn中的混淆矩阵行表示真实值，列表示预测值。 from sklearn.metrics import classification_report, cohen_kappa_score, accuracy_score, confusion_matrix print(confusion_matrix(true_label, predict_label)) print(classif...
用python计算准确率_【火炉炼AI】机器学习011-分类模型的评估：准确率，精确率，召回率，F1值...
weixin_39937635的博客
11-24 2975
【火炉炼AI】机器学习011-分类模型的评估：准确率，精确率，召回率，F1值(本文所使用的Python库和版本号: Python 3.5, Numpy 1.14, scikit-learn 0.19, matplotlib 2.2 )在前面的（【火炉炼AI】机器学习004-岭回归器的构建和模型评估）中，讲解了回归模型的评估方法，主要有均方误差MSE， 解释方差分，R方得分等指标。同样的，对于分类模...
【机器学习-分类模型评价指标】混淆矩阵&分类报告
m0_51933492的博客
08-26 7407
混淆矩阵是评判模型结果的指标，属于模型评估的一部分。此外，混淆矩阵多用于判断分类器（Classifier）的优劣，适用于分类型的数据模型，如分类树（Classification Tree）、逻辑回归（Logistic Regression）、线性判别分析（Linear Discriminant Analysis）等方法。 混淆矩阵里面统计的是个数，有时候面对大量的数据,光凭算个数，很难衡量模型的优劣。因此混淆矩阵在基本的统计结果上又延伸了如下4个指标 在实际场景中，有时候需要同时关注精准率和召回率。这种情
掌握模型评估技巧：准确度、精确度与召回率的理解
通过了解模型评估的基本概念、常用指标以及适用场景，读者能够准确评估模型的性能，提高模型的预测能力，为实际应用中的决策提供支持。 ## 1.2 研究意义与应用场景 模型评估作为机器学习和数据挖掘领
Keras YOLO模型评估指标解读：mAP、召回率和准确率
!...# 1. Keras YOLO模型评估概述 Keras YOLO（You Only Look Once）...通过评估，我们可以了解模型的准确性、召回率和平均精度（mAP），从而为模型的改进提供依据。 本指南将深入探讨Keras YOLO模型评估的各个方面，
评估深度学习模型的指标：混淆矩阵、准确率、精确率和召回率
oreo的博客
12-14 1万+
在计算机视觉任务重，目标检测用来定位出一张图像上的一个或多个物体。。处理传统的目标检测方法，基于深度学习的模型比如R-CNN和YOLO算法在不同类型的物体检测上都有着优异的检测效果。这些模型接收一张图像作为输入数据，然后返回每一个所检测物体的边界框的坐标。这个教程将会讨论如何计算混淆矩阵、准确率、精确率和召回率。具体而言，主要内容如下： （1）二分类的混淆矩阵 （2）多分类的混淆矩阵 （3）使用Scikit-learn库来计算混淆矩阵 （4）准确率、精确率和召回率计算公式 （5）使用精确率还是..
朴素贝叶斯 混淆矩阵，2分类下的混淆矩阵，精确率与召回率，F1-score
ck784101777的博客
07-25 7821
目录 1.混淆矩阵 2.精确率(Precision)与召回率(Recall) 3.F1-score 4.sklearn API接口 参考文档 1.混淆矩阵 混淆矩阵就是分别统计分类模型归错类，归对类的观测值个数，然后把结果放在一个表里展示出来。这个表就是混淆矩阵。 在分类任务中，预测结果与正确标记之间存在四种不同的组合，构成混淆矩阵，以下是二分类的混淆矩阵： 假设有一组数据集，一共有66个样本，三个目标值，猫、狗、猪。 混淆矩阵为： 关于这个混淆矩阵，从真实值为猫这一列开始看，代.
混淆矩阵介绍以及评价指标(准确率，精确率，召回率，特异度，假警报率，G-mean，F1_score，KS值)
迷雾总会解
11-14 1万+
混淆矩阵 混淆矩阵（Confusion Matrix），可以理解为就是一张表格。混淆这个名字还是很有内涵的，咳咳。 混淆矩阵是判断分类好坏程度的一种方法。另外还有ROC曲线和AUC曲线。 以分类模型中最简单的二分类为例，对于这种问题，我们的模型最终需要判断样本的结果是0还是1，或者说是positive还是negative。 我们通过样本的采集，能够直接知道真实情况下，哪些数据结果是positive，哪些结果是negative。同时，我们通过用样本数据跑出分类型模型的结果，也可以知道模型认为这些数据哪些是p
混淆矩阵、准确率、精确率、召回率、roc、auc
weixin_43895564的博客
02-16 1562
混淆矩阵，accuary，precision，recall
02_混淆矩阵、准确率（Accuracy）、精确率(Precision)、召回率(Recall)、F值(F-Measure) +Roc曲线和PR曲线+sklearn中分类模型评估API+ 自己补充整理
涂作权的博客
04-09 5419
一、准确率、精确率、召回率和F值是选出目标的重要评价指标。不妨先看看这些指标的定义： (1)若一个实例是正类，但是被预测成为正类，即为真正类(True Postive TP) (2)若一个实例是负类，但是被预测成为负类，即为真负类(True Negative TN) (3)若一个实例是负类，但是被预测成为正类，即为假正类(False Postive FP) (4)若一个实例是正类，但是被预测成为负...
[Python从零到壹] 十四.机器学习之分类算法五万字总结全网首发（决策树、KNN、SVM、分类对比实验）
热门推荐
杨秀璋的专栏
07-09 2万+
分类（Classification）属于有监督学习（Supervised Learning）中的一类，它是数据挖掘、机器学习和数据科学中一个重要的研究领域。分类模型类似于人类学习的方式，通过对历史数据或训练集的学习得到一个目标函数，再用该目标函数预测新数据集的未知属性。本章主要讲述分类算法基础概念，并结合决策树、KNN、SVM分类算法案例分析各类数据集，从而让读者学会使用Python分类算法分析自己的数据集，研究自己领域的知识，从而创造价值。 19.1 分类 19.1.1 分类模型 与前面讲述的聚类模型类似
基于VGG的多作物叶病图像分类的人工智能模型（2022）
农业中的人工智能6（2022）23基于卷积神经网络VGG的多作物叶片病害图像分类迁移学习阿南达范达纳·佩莫德马洛德米高梅贾瓦哈拉尔·尼赫鲁工程学院，431001，马哈拉施特拉邦，印度a r t i c l e i nf o文章历史记录：...
根据多分类混淆矩阵计算召回率、精确率、卡帕系数的python代码
09-29
根据多分类混淆矩阵计算召回率、精确率和卡帕系数的Python代码如下： ```python from sklearn import metrics # 计算召回率（Recall） def recall(confusion_matrix): recalls = [] for i in range(confusion_matrix.shape[0]): recall = confusion_matrix[i, i] / sum(confusion_matrix[i, :]) recalls.append(recall) return recalls # 计算精确率（Precision） def precision(confusion_matrix): precisions = [] for i in range(confusion_matrix.shape[0]): precision = confusion_matrix[i, i] / sum(confusion_matrix[:, i]) precisions.append(precision) return precisions # 计算卡帕系数（Cohen's Kappa） def kappa(confusion_matrix): total = sum(sum(confusion_matrix)) true_positives = np.diag(confusion_matrix) row_sum = np.sum(confusion_matrix, axis=1) col_sum = np.sum(confusion_matrix, axis=0) expected = np.outer(row_sum, col_sum) / total kappa = (total * np.sum(true_positives) - np.sum(confusion_matrix * expected)) / (total**2 - np.sum(confusion_matrix * expected)) return kappa # 示例使用 y_true = [0, 0, 1, 2, 1, 2, 0, 2, 2, 0, 1, 1] # 真实分类 y_pred = [1, 0, 1, 2, 1, 0, 0, 2, 2, 0, 1, 1] # 模型分类结果 confusion_matrix = metrics.confusion_matrix(y_true, y_pred) recalls = recall(confusion_matrix) precisions = precision(confusion_matrix) kappa_score = kappa(confusion_matrix) print("召回率:", recalls) print("精确率:", precisions) print("卡帕系数:", kappa_score) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值