【详细介绍系列之混淆矩阵、精确率、召回率、F1分数】

已于 2024-06-28 10:25:51 修改
阅读量820 收藏 20
点赞数 14
分类专栏： 机器学习 文章标签： 机器学习 python 逻辑回归 算法
于 2024-06-27 22:06:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_77444219/article/details/140024870
版权

文章目录

混淆矩阵

混淆矩阵（Confusion Matrix）是机器学习领域，尤其是分类问题中常用的一种评估工具。它用于展示模型预测结果的分类情况，可以清晰地反映出模型在各类别上的预测性能。

混淆矩阵的组成

混淆矩阵是一个表格，通常用于二分类问题，但也可以扩展到多分类问题。在二分类问题中，混淆矩阵通常包含四个部分：

  • 真正例（True Positive, TP）：模型预测为正例，且实际也为正例的样本数。
  • 假正例（False Positive, FP）：模型预测为正例，但实际为负例的样本数（误报）。
  • 真负例（True Negative, TN）：模型预测为负例，且实际也为负例的样本数。
  • 假负例（False Negative, FN）：模型预测为负例，但实际为正例的样本数（漏报）。

解读混淆矩阵

  1. 准确性（Accuracy）：预测正确的样本数占总样本数的比例。但在某些情况下，尤其是类别不平衡时，准确性可能不是最好的评估指标。
    在这里插入图片描述

  2. 精确率（Precision）：预测为正例的样本中，真正为正例的比例。
    在这里插入图片描述

  3. 召回率（Recall）或真正率（True Positive Rate, TPR）：所有正例样本中，被预测为正例的比例。
    在这里插入图片描述

  4. 假正率（False Positive Rate, FPR）：所有负例样本中，被预测为正例的比例。
    在这里插入图片描述

  5. F1分数（F1 Score）：精确率和召回率的调和平均数，用于综合评估模型的性能。
    在这里插入图片描述

混淆矩阵在多分类问题中的应用

在多分类问题中，混淆矩阵可以扩展为一个更大的表格，其中每一行代表一个实际类别，每一列代表一个预测类别。每个单元格的值表示实际类别被预测为对应预测类别的样本数。

例如：
在这里插入图片描述

混淆矩阵的重要性

混淆矩阵提供了关于模型性能的详细信息，通过它可以清晰地看到模型在各类别上的表现，以及误报和漏报的情况。这些信息对于改进模型和调整模型参数非常有用。此外，混淆矩阵还是计算其他评估指标（如精确率、召回率和F1分数）的基础。

精确率

混淆矩阵中的精确率（Precision）是评估分类模型性能的重要指标之一，特别是在关注模型预测为正例的样本中，实际为正例的比例时。

定义

精确率（Precision）是指模型预测为正例的样本中，实际为正例的比例。它衡量了模型预测为正例的可靠性。

换言之，精确率是：预测值为1的时候，有多少个被预测对了?（或者说预测值为0的时候，有多少个被预测对了?）

计算公式

精确率的计算公式为：
Precision= TP / （FP + TP） （或） Precision= TN / （FN + TN）

其中：
TP（True Positive）：真正例，表示模型预测为正例，且实际也为正例的样本数。
FP（False Positive）：假正例，表示模型预测为正例，但实际为负例的样本数（误报）。
TN（True Negative）：模型预测为负例，且实际也为负例的样本数。
FN（False Negative）：模型预测为负例，但实际为正例的样本数（漏报）。

示例

假设一个二分类模型在100个样本中预测了60个正例，其中有50个是真正例（TP），10个是假正例（FP）。则根据公式，精确率计算如下：

Precision=50 / (50+10)= 50/60 ≈0.83

这说明该模型在预测为正例的样本中，有大约83%的样本是真正的正例。

解读

精确率越高，说明模型在预测为正例的样本中，实际为正例的比例越高，即模型预测为正例的可靠性越高。
如果精确率较低，说明模型存在较多的误报情况，即将负例错误地预测为正例。

注意事项

精确率虽然重要，但并不能完全反映模型的性能。在实际应用中，我们通常需要综合考虑其他指标，如召回率、F1值等，来全面评估模型的性能。

当正负样本分布不均衡时，精确率可能会受到较大影响。因此，在评估模型性能时，还需要注意样本分布的情况。

总结

精确率是混淆矩阵中的一个重要指标，用于评估模型在预测为正例的样本中，实际为正例的比例。通过精确率，我们可以了解模型预测为正例的可靠性，从而判断模型的性能。然而，在评估模型性能时，还需要综合考虑其他指标，以获得更全面的评估结果。

召回率

混淆矩阵中的召回率（Recall）是评估分类模型性能的重要指标之一，特别是在关注模型能够正确识别出多少实际为正例的样本时。以下是关于召回率的详细介绍：

定义

召回率（Recall），也称为真正例率（True Positive Rate, TPR）或查全率，它表示在实际为正的样本中被正确预测为正样本的比例。召回率关注的是模型对正例样本的覆盖程度，即模型能够找出多少真正的正例。

换言之召回率就是：真实值为0的情况下，有多少被预测对了。

计算公式

召回率的计算公式为：
Recall=TP / （FN + TP） （或） Recall= TN / （FP + TN）

其中：
TP（True Positive）：真正例，表示模型预测为正例，且实际也为正例的样本数。
FN（False Negative）：假负例，表示模型预测为负例，但实际为正例的样本数（漏报）。
FP（False Positive）：假正例，表示模型预测为正例，但实际为负例的样本数（误报）。
TN（True Negative）：模型预测为负例，且实际也为负例的样本数。

示例

假设一个二分类模型在100个样本中，其中有50个正例样本。模型预测出40个正例样本，其中35个是真正的正例（TP），5个是漏报的负例（FN）。则根据公式，召回率计算如下：

Recall= 35/(5+35) = 35/40 =0.875

这说明该模型在所有的正例样本中，能够正确识别出87.5%的正例。

解读

召回率越高，说明模型对正例样本的覆盖程度越高，即模型能够找出更多的真正正例。

如果召回率较低，说明模型存在较多的漏报情况，即有很多正例样本被模型错误地预测为负例。

应用场景

召回率的应用场景很多，特别是在需要尽可能找出所有正例样本的情况下。

例如，在医疗诊断中，我们希望模型能够尽可能多地识别出患病的患者（正例），即使这意味着会有一部分健康的人被误判为患病（假正例）。同样，在网络安全领域，我们希望模型能够尽可能多地检测出恶意软件或攻击行为（正例），即使这可能导致一些正常行为被误判为恶意行为（假正例）。

总结

召回率是混淆矩阵中的一个重要指标，用于评估模型对正例样本的覆盖程度。通过召回率，我们可以了解模型能够找出多少真正的正例样本，从而判断模型在特定应用场景下的性能。在评估模型性能时，通常需要综合考虑精确率、召回率等多个指标，以获得更全面的评估结果。

F1分数

混淆矩阵中的F1分数是用于评估分类模型性能的一个综合指标，它结合了精确率（Precision）和召回率（Recall）两个重要的分类指标。

F1分数的定义

F1分数是精确率和召回率的调和平均数，用于在精确率和召回率之间寻求一个平衡点。它综合考虑了模型预测为正例的样本中实际为正例的比例（精确率）和所有实际为正例的样本中被预测为正例的比例（召回率）。

F1分数的计算公式

F1分数的计算公式如下：
在这里插入图片描述
​

其中，Precision和Recall分别表示精确率和召回率，它们的计算公式如下：

  • 精确率（Precision）：
    Precision= TP / （FP + TP） （或） Precision= TN / （FN + TN）
    ​

  • 召回率（Recall）：
    Recall=TP / （FN + TP） （或） Recall= TN / （FP + TN）
    ​

其中，TP、FP和FN分别表示真正例、假正例和假负例的样本数。

F1分数的应用场景

F1分数适用于需要同时考虑精确率和召回率的场景。

在分类问题中，当精确率和召回率都非常重要时，可以使用F1分数来评估模型的性能。

例如，在医疗诊断、信息检索、推荐系统等领域，我们既希望模型能够尽可能准确地识别出正例（如患病患者、相关文档、用户感兴趣的物品），又希望模型能够尽可能多地覆盖实际的正例（如不漏诊患者、不遗漏相关文档、不遗漏用户感兴趣的物品）。在这些场景下，F1分数能够提供一个综合的评估指标。

F1分数与其他指标的关系

  • 与精确率的关系：
    当精确率较高时，模型预测为正例的样本中实际为正例的比例较高，但可能存在较多的漏报情况（即实际为正例的样本被预测为负例）。此时，F1分数会受到召回率的影响而降低。
  • 与召回率的关系：
    当召回率较高时，模型能够覆盖更多的实际正例，但可能存在较多的误报情况（即实际为负例的样本被预测为正例）。此时，F1分数会受到精确率的影响而降低。
  • 与准确率（Accuracy）的关系：
    准确率是模型预测正确的样本数占总样本数的比例。然而，在类别不平衡的情况下，准确率可能不是一个很好的评估指标。相比之下，F1分数更能体现模型在精确率和召回率之间的平衡性。

总结

F1分数是评估分类模型性能的一个综合指标，它结合了精确率和召回率两个重要的分类指标。通过计算F1分数，我们可以更全面地了解模型在分类问题上的性能表现。在需要同时考虑精确率和召回率的场景下，F1分数能够提供一个有效的评估指标。

混淆矩阵的实例应用

以下是一个应用混淆矩阵的例子，以二分类问题为例，假设我们有一个模型用于预测某个人是否患有某种疾病：

1. 混淆矩阵的构建

假设我们使用该模型对100个人进行了预测，并将其预测结果与实际情况进行对比，得到以下混淆矩阵：
在这里插入图片描述

2. 混淆矩阵的解读

真正例（True Positive, TP）：模型正确地将25个患病的人预测为患病。
假正例（False Positive, FP）：模型错误地将10个健康的人预测为患病（误报）。
假负例（False Negative, FN）：模型错误地将5个患病的人预测为健康（漏报）。
真负例（True Negative, TN）：模型正确地将60个健康的人预测为健康。

3. 计算评估指标

  • 准确率（Accuracy）：
    (25+60)/(25+5+10+60)=0.85
    模型在100个样本中预测正确的比例为85%。
  • 精确率（Precision）：
    25/(25+10)=0.71
    在所有被预测为患病的人中，真正患病的人的比例为71%。
  • 召回率（Recall）或真正率（True Positive Rate, TPR）：
    25/(25+5)=0.83
    在所有真正患病的人中，被模型预测为患病的人的比例为83%。
  • F1分数（F1 Score）：
    2×(0.71×0.83)/(0.71+0.83)=0.76
    精确率和召回率的调和平均数，用于综合评估模型的性能。

  1. 分析和应用
    通过混淆矩阵，我们可以清晰地看到模型在哪些类别上表现较好（如真负例TN），哪些类别上存在问题（如假正例FP和假负例FN）。

    根据评估指标，我们可以判断模型的性能。例如，虽然模型的准确率较高（0.85），但精确率较低（0.71），意味着模型可能过于“乐观”，将很多健康的人误判为患病。

    基于这些信息，我们可以考虑对模型进行调优，例如通过调整分类阈值、增加训练数据、改进模型结构等方式来提高模型的性能。

总结

混淆矩阵是机器学习分类问题中非常重要的评估工具，通过构建和解读混淆矩阵，我们可以深入了解模型的性能，并基于评估指标对模型进行调优。

XUE

01_6
关注
  • 14
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习模型评估指标-混淆矩阵-精度-召回率-F1分数
liujing319的专栏
06-14 2008
最近在复盘udacity 的机器学习的课程，现在来整理一下关于机器学习模型的评估指标的相关知识。 不同数据集采用不同的模型进行训练，会得到完全不同的效果，那么如何衡量一个模型是否适合该数据集呢？在数据集训练后可以对一些指标进行运算，观察实际的效果，进行调整参数或者更换模型等等。 学习模型的评估指标常用的有几种：F-β得分（F1得分，F2得分等等，根据不同的业务实际需求来指定适合的β值），ROC...
召回率 精确率 matlab,「机器学习」准确率、精确率、召回率、F1分数、ROC-AUC
weixin_34957720的博客
03-20 2717
「机器学习」准确率、精确率、召回率、F1分数、ROC-AUC机器学习最后更新 2020-08-31 16:22阅读 210最后更新 2020-08-31 16:22阅读 210机器学习在机器学习中衡量一个模型是否准确我们有很多指标：准确率 - accuracy精确率 - precision召回率 - recallF1分数-F1 scoreROC曲线下面积 - ROC-AUC (area under...
混淆矩阵-ROC曲线、召回率、精确率、准确率
m0_56878426的博客
06-16 1023
混淆矩阵的主要性能指标准确率：模型正确分类的样本占总样本数的比例，准确率衡量了模型在所有样本上的整体表现精确率：模型预测为正类别的样本中实际是正类别的概率，精确率衡量了模型在预测为正类别的样本上的准确性召回率：实际为正类别的样本中，正确预测为正样本的概率，召回度衡量了在实际为正样本中正确预测为正样本的预测概率F1分数：精确率和召回率的调和平均数，F1分数衡量了精确率和召回率之间的平衡混淆矩阵和上述性能指标共同提供了对分类模型性能全面的理解，并帮助评估模型的优缺点，进而进一步优化模型机器学习，周志华。
MATLAB实现混淆矩阵评价指标（精度，召回率，F1分数）
热门推荐
TIME_LEAF的博客
10-27 1万+
记录一下，在学习用SVM分类时，需要对分类结果进行评价，光有正确率是不够的，所以就使用了混淆矩阵。原理的话，很多博客上都有，但为了便于理解程序，就简单讲一下。 结合程序，我们的类别是（-1,1），在Matlab中，类别是按照值的大小排的，即-1在前。但为了更加直观明了，解释理论的时候依然是1为正类。   1 -1 1 TP FN -1 FP...
朴素贝叶斯 混淆矩阵，2分类下的混淆矩阵，精确率与召回率，F1-score
ck784101777的博客
07-25 7355
目录 1.混淆矩阵 2.精确率(Precision)与召回率(Recall) 3.F1-score 4.sklearn API接口 参考文档 1.混淆矩阵 混淆矩阵就是分别统计分类模型归错类，归对类的观测值个数，然后把结果放在一个表里展示出来。这个表就是混淆矩阵。 在分类任务中，预测结果与正确标记之间存在四种不同的组合，构成混淆矩阵，以下是二分类的混淆矩阵： 假设有一组数据集，一共有66个样本，三个目标值，猫、狗、猪。 混淆矩阵为： 关于这个混淆矩阵，从真实值为猫这一列开始看，代.
matlab实现混淆矩阵评价指标（精度，召回率，F1分数）
qq_23100417的博客
07-24 6407
声明：转自https://blog.csdn.net/TIME_LEAF/article/details/83443908 混淆矩阵的分析直接参考https://blog.csdn.net/guomutian911/article/details/78396399 个人感觉写的简洁明了的一篇博文，适合初学。 一、混淆矩阵的评价指标 记录一下，在学习用SVM分类时，需要对分类结果进行评价，光...
精确率、召回率、F1 值、ROC、AUC
rs勿忘初心的博客
01-07 2144
参考：一文让你彻底理解准确率，精准率，召回率，真正率，假正率，ROC/AUC 待整理学习
tensorflow 2.x 多分类混淆矩阵及评价指标计算方法（精确率、召回率、f1分数）
xunyishuai5020的博客
06-11 908
TensorFlow 2.x 中多分类任务的混淆矩阵计算方法
混淆矩阵与精确度、召回率、F1 Score
日进一步
01-26 6822
1、计算公式 从混淆矩阵计算精确度、召回率、F1 Score的过程如下图所示，其中P和R即Precision和Recall： 2、验证实验 如下图为Azure ML自带的一个示例给出的模型评分结果：原始计算结果给出了混淆矩阵与Accuracy、精确度、召回率和F1 Score，图中插入的文字给出了这些评估值的计算过程，计算过程一目了然：
利用python中的matplotlib打印混淆矩阵实例
09-16
这些库还提供了其他评估指标，如准确率、精确率、召回率和F1分数，它们都是基于混淆矩阵计算的。 总的来说，通过matplotlib绘制混淆矩阵，我们可以更直观地了解分类模型的性能，特别是在多类别分类问题中，它能帮助...
混淆矩阵的生成实现
06-25
3. **计算指标**：基于混淆矩阵，可以计算各种性能指标，如准确率(Accuracy)、精确率(Precision)、召回率(Recall)和F1分数(F1-Score)等。 MATLAB中实现混淆矩阵的代码可能如下： ```matlab % 假设y_pred是预测标签...
分类画混淆矩阵的代码
01-15
通过查看混淆矩阵，我们可以得到关于模型性能的关键指标，如精确率(Precision)、召回率(Recall)、F1分数(F1 Score)以及总体准确率(Accuracy)等。 混淆矩阵不仅适用于二分类问题，还可以方便地扩展到多分类问题。在...
数据科学与机器学习：混淆矩阵深度解析-精准评估分类模型性能的必备工具
04-26
本文将详细介绍混淆矩阵的概念及其在分类问题中的重要性，包括准确率、精确率、召回率和F1分数等评价指标的解读。通过理解混淆矩阵，读者将能够更全面地评估分类模型的性能，为优化模型提供有力依据。
基于LSSVM混淆矩阵和改进DS合成的多源传感器网络安全态势预测.pdf
09-20
2. **混淆矩阵**：混淆矩阵是评估分类器性能的重要工具，它包含了真阳性、真阴性、假阳性、假阴性四个指标，用于计算模型的准确率、召回率、F1分数等。在文章中，LSSVM的分类结果通过混淆矩阵转换为每个类别对应的...
1、线性回归模型
最新发布
qq_46801776的博客
06-26 1056
自我学习，内容来源互联网，仅供参考
导入机器学习boston数据集报错问题解决
2301_76574743的博客
06-24 713
这样问题就会得到解决。
机器学习辅助的乙醇浓度检测（毕设节选）
yan4080565的博客
06-26 524
作为一种数据驱动的分析技术，它可以自动从大型数据集中搜索有效信息，揭示数据背后的机制，从而建立数据之间的映射关系输入数据与未知目标参数。（3）输出层：输出层是模型的最后一层，它的任务是生成模型的最终预测结果。（3）前向传播：数据在网络中逐层向前传递，每一层的神经元接收来自前一层的输出，通过激活函数处理，生成当前层输出。（1）输入层：输入层是神经网络的起始部分，它的作用是接收外部输入的数据。（7）优化器：优化器在神经网络训练中起着至关重要的作用，它的主要工作是调整网络的权重和偏置，目的是减少损失函数的值。
机器学习--概念理解
xinglun88的专栏
06-26 247
人工智能机器学习深度学习学习的范围：模式识别、数据挖掘、统计学习、计算机视觉、语音识别、自然语言处理可以解决的问题：给定数据的预测问题。
用R计算准确率、召回率、精确率、F1分数
04-30
在R语言中，可以使用混淆矩阵（confusion matrix）来计算准确率、召回率、精确率、F1分数。 首先，我们需要创建一个混淆矩阵，混淆矩阵包含了分类器对样本的分类情况。假设我们有一个二分类问题，分类器的预测结果和实际结果如下： ```r predicted <- c(1, 0, 1, 1, 0, 1, 0, 1, 1, 1) actual <- c(1, 0, 1, 0, 1, 0, 1, 0, 1, 0) ``` 我们可以使用`table()`函数来创建混淆矩阵： ```r cm <- table(predicted, actual) cm ``` 输出结果： ``` actual predicted 0 1 0 2 2 1 2 4 ``` 接下来，我们可以计算准确率、召回率、精确率、F1分数： ```r # 准确率 accuracy <- sum(diag(cm))/sum(cm) accuracy # 召回率 recall <- cm[2, 2]/sum(cm[2, ]) recall # 精确率 precision <- cm[2, 2]/sum(cm[, 2]) precision # F1分数 f1 <- 2*precision*recall/(precision + recall) f1 ``` 输出结果： ``` [1] 0.6 [1] 0.6666667 [1] 0.6666667 [1] 0.6666667 ``` 因此，这个分类器在这个数据集上的准确率为0.6，召回率为0.67，精确率为0.67，F1分数为0.67。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值