ML学习笔记-2021-08-27-模型评估-精确率、召回率、F1score、ROC、AUC

最新推荐文章于 2023-09-26 21:45:00 发布
最新推荐文章于 2023-09-26 21:45:00 发布
阅读量232 收藏
点赞数
分类专栏： ML 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45363979/article/details/119956642
版权
本文探讨了评估机器学习分类模型性能的几种关键方法，包括混淆矩阵、精确率、召回率和F1-score。F1-score是衡量模型稳健性的指标，当其值高时，表明模型在精确率和召回率上都有优秀表现。此外，面对样本不均衡问题，ROC曲线和AUC是重要的评估工具，特别在ROC曲线中，TPR与FPR的关系揭示了模型的预测能力。
摘要由CSDN通过智能技术生成

4.4.5 分类的评估方法

1. 混淆矩阵

在这里插入图片描述

2. 精确率

在这里插入图片描述

3. 召回率

在这里插入图片描述

4. F1 - score

衡量模型的稳健性
若F1 - score 大的化，就说明不仅精确率高，召回率也高，那模型的稳健性就高
在这里插入图片描述

5. API

在这里插入图片描述

6. 衡量样本不均衡下的评估 —— ROC ACU 曲线

如下所示，当样本不均衡时，精度，召回率，F1score得分都很高。
在这里插入图片描述

6.1 ROC曲线

当TPR = FPR 图中的虚线，就是不管什么时候都预测为1，那么一定是瞎猜。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
API
在这里插入图片描述

燥栋
关注
专栏目录
机器学习笔记 - IOU、mAP、ROC、AUC、准确率、召回率、F分数
学以致用 知行合一
03-25 5169
mAP（mean Average Precision）是目标检测中度量识别精度的指标。多个类别目标检测中，每一个类别都可以根据查全率和查准率绘制P-R曲线，横坐标为查全率，纵坐标为查准率。AP就是该曲线下的面积，mAP是多个类别AP的平均值。计算公式如下式中，Q表示目标检测的类别集合；AveP（q）是计算类别下目标的平均准确率。计算mAP时使用联合交集（IoU）。mAP计算过程1、对于每个预测，IoU 是针对图像中的每个地面实况框计算的。
Keras 利用sklearn的ROC-AUC建立评价函数详解
09-16
### Keras 利用sklearn的ROC-AUC建立评价函数详解 #### 一、引言 在机器学习项目中，模型的评估是非常重要的一个环节。对于分类问题而言，除了常用的准确率（Accuracy）之外，ROC曲线下的面积（Area Under the ...
【ML】评估一个分类器：精确率和召回率（Evaluation of Classifier）
大侠isme
05-02 443
如何评价一个分类器，最初印象肯定是越准确越好。比如，准确率为90 %准确率80%的分类器好吗？
F1-Score相关概念
重剑无锋博客
04-12 6643
F1分数（F1 Score），是统计学中用来衡量二分类（或多任务二分类）模型精确度的一种指标。它同时兼顾了分类模型的准确率和召回率。F1分数可以看作是模型准确率和召回率的一种加权平均，它的最大值是1，最小值是0，值越大意味着模型越好。假如有100个样本，其中1个正样本，99个负样本，如果模型的预测只输出0，那么正确率是99%，这时候用正确率来衡量模型的好坏显然是不对的。 ...
统计机器学习（三）性能度量
行走
05-19 829
文章目录教程笔记概述本文阅读先决条件内容总结MSE（mean square error）二分类任务的混淆矩阵Confusion matrixF1-score以及多分类的混淆矩阵Confusion matrix总结 教程笔记概述 来源于课程MA429,讲述统计机器学习。是算法工程师的基础。 本文阅读先决条件 阅读并尽可能理解intro naive bayes.pdf这个课件。 内容总结 MSE（mean square error） 数理统计中均方误差是指参数估计值与参数值之差平方的期望值，记为MSE。MSE的
精确率、召回率、F1-score、准确率、AUC、ROC曲线？
weixin_38190044的博客
05-15 1113
查准率、查全率又是精确率(precision)、召回率(recall) F1度量，F1-score 越高，说明分类模型越稳健 准确率(accuracy) = (TP+TN)/(TP+FN+FP+TN) A把C全部包住，A优于C。 与 P-R 曲线使用查准率、查全率为纵、横轴不同， ROC 曲线的纵轴是"真正例率" (True Positive Rate，简称 TPR)，横轴是"假正例率" (False Positive Rate，简称 FPR) ，基于表 2.1 中的符号，两者分别定义为: ..
模型评价指标概念说明（回归，分类，多分类）
多头注意力探索Now
09-26 1087
模型分类回归任务的指标说明
ROC原理介绍及利用python实现二分类和多分类的ROC曲线
热门推荐
山不过来，我就过去
08-19 10万+
对于分类器，或者说分类算法，评价指标主要有precision，recall，F-score1，以及即将要讨论的ROC和AUC。本文通过对这些指标的原理做一个简单的介绍，然后用python分别实现二分类和多分类的ROC曲线。 1 基本概念 一个分类模型(分类器)是一个将某个实例映射到一个特定类的过程.分类器的结果可以是给出该实例所属的类别，也可以给定该实例属于某个类别的概率。 首先来...
Python-评估scikit学习模型的炫酷方式图表和markdown报告
08-11
常用的评估指标包括准确率、精确率、召回率、F1分数、AUC-ROC曲线等。 在Python中，sklearn库提供了多种内置的评估函数，例如`accuracy_score`、`precision_score`、`recall_score`和`f1_score`。这些函数可以帮助...
python数据分析与挖掘实战-第7章 模型评估.zip
04-30
在分类问题中，我们可能会遇到准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1分数（F1-Score）和查准查全率（Precision-Recall Curve）。例如，准确率是正确预测的样本占总预测样本的比例，但可能...
ML2017-笔记：李宏毅机器学习2017个人笔记
02-03
笔记中还涉及了李宏毅教授对于模型评估和选择的方法，如交叉验证、AUC-ROC曲线和混淆矩阵，这些都是确保模型性能的重要工具。最后，笔记还讨论了一些现代机器学习框架，如TensorFlow和PyTorch，它们极大地简化了模型...
IDAO-2021-darkmatter-id
04-03
IDAO-2021-darkmatter-id 该存储库是团队Alpha Analysts的 ML竞赛在线回合的解决方案。 基准解决方案可以在找到，竞赛组织者的数据可以在找到。 优化的度量是ROC AUC-MAE，其中ROC AUC-是粒子分类的质量度量，MAE...
监督学习-模型的选择与评估
01-10
- **模型评估指标**：评估模型性能时，分类任务通常使用精确率、召回率、F1分数、ROC曲线和AUC值等。回归任务则关注均方误差(MSE)、均方根误差(RMSE)、平均绝对误差(MAE)等。 2. **模型评估与优化**： - **超参数...
AI系统量化评价-模型评估方法、网络评价指标
02-03
- **F1-score**：精确率和召回率的调和平均数，综合考虑了精确率和召回率。 - **MCC（Matthews Correlation Coefficient）**：适用于二分类问题，考虑了真阳性和真阴性的比例，提供了更全面的评估。 - **ROC曲线*...
Python-Python机器学习笔记教程
08-11
同时，要掌握各种评估指标，如准确率、精确率、召回率、F1分数、AUC-ROC曲线等，以衡量模型的性能。 **七、深度学习框架** 对于更高级的机器学习任务，如图像识别、自然语言处理，可以使用深度学习框架，如...
图解机器学习：分类模型性能评估指标
Baimoc
05-05 4675
人间出现一种怪病，患病人群平时正常，但偶尔暴饮暴食，这种病从外观和现有医学手段无法分辨。为了应对疫情，准备派齐天大圣去下界了解情况。
【深度学习】模型评价指标
chen1234520nnn的博客
09-10 1万+
一、分类任务 分类任务一般有二分类、多分类和多标签分类。 多分类： 表示分类任务中有多个类别，但是对于每个样本有且仅有一个标签，例如一张动物图片，它只可能是猫，狗，虎等中的一种标签（二分类特指分类任务中只有两个类别） 多标签： 一个样本可以有多个标签。例如文本分类中，一个文本可以是宗教相关，也可以是新闻相关，所以它就可以有两个标签。 常见的评价指标有：准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1 score、ROC曲线（Receiver Operating
模型评估指标_精准率、召回率、F1-score、ROC曲线、AUC曲线
PuJiang-的博客
05-05 3527
一、分类结果混淆矩阵 1、T、F、P、N辨析 P(Positive)、N(Negative)针对的是预测值的结果。 P表示对样本的预测结果为正例， N表示对样本的预测结果为反例。 T(True)、F(False)针对的是预测值的结果是否预测对了。 TP表示对该样本预测结果为正例，同时预测对了，真实标签和预测标签都为正例， FP表示对该样本预测结果为正例，但是预测错了，真实标签为反例，预测标签为正例， TN表示对该样本预测结果为反例，同时预测对了，真是标签和预测标签都为反例， FN表示对该样本预测结果为反
f1 score 代码_机器学习中的F1-score
weixin_39796868的博客
12-19 2946
一、什么是F1-scoreF1分数(F1-score)是分类问题的一个衡量指标。一些多分类问题的机器学习竞赛，常常将F1-score作为最终测评的方法。它是精确率和召回率的调和平均数，最大为1，最小为0。此外还有F2分数和F0.5分数。F1分数认为召回率和精确率同等重要，F2分数认为召回率的重要程度是精确率的2倍，而F0.5分数认为召回率的重要程度是精确率的一半。计算公式为：G分数是另一种统一精确...
机器学习输出模型AUC、准确度、精确度、召回率、F1-score的代码
最新发布
09-10
在机器学习中，评估模型性能常用的指标包括AUC、准确度（Accuracy）、精确度（Precision）、召回率（Recall）和F1-score。以下是使用Python中的`sklearn`库计算这些指标的一个简单示例： 首先，你需要有一个训练好的机器学习模型，并对其做预测，得到预测结果和真实的标签。然后，使用`sklearn.metrics`中的相关函数来计算这些性能指标。 ```python from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score from sklearn.metrics import confusion_matrix # 假设 y_true 是真实的标签数组，y_pred 是模型预测的标签数组，y_pred_proba 是模型预测的概率数组（对于二分类问题） y_true = [...] # 真实标签 y_pred = [...] # 模型预测的标签 y_pred_proba = [...] # 模型预测的概率 # 准确度（Accuracy） accuracy = accuracy_score(y_true, y_pred) print(f'准确度: {accuracy}') # 精确度（Precision） precision = precision_score(y_true, y_pred) print(f'精确度: {precision}') # 召回率（Recall） recall = recall_score(y_true, y_pred) print(f'召回率: {recall}') # F1-score f1 = f1_score(y_true, y_pred) print(f'F1-score: {f1}') # AUC (Area Under the Curve) # 注意：AUC只能应用于二分类问题的ROC曲线 if len(np.unique(y_true)) == 2: # 确保标签只有两个类别 auc = roc_auc_score(y_true, y_pred_proba) print(f'AUC: {auc}') ``` 请确保你已经安装了`sklearn`库，并且你的`y_true`和`y_pred`是适当格式的数组或列表，`y_pred_proba`是一个包含概率值的数组。对于二分类问题，`y_pred_proba`应该是一个二维数组，其中每一行对应一个样本，每一列对应一个类别的预测概率。 在多分类问题中，`precision_score`、`recall_score`和`f1_score`函数默认计算所有类别的加权平均值。你也可以通过设置参数`average=None`来得到一个针对每个类别的性能指标列表。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值