分类问题的评估指标(Evaluation for Classifier)

最新推荐文章于 2024-07-11 09:27:59 发布
最新推荐文章于 2024-07-11 09:27:59 发布
阅读量901 收藏 2
点赞数
文章标签： 机器学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48457572/article/details/113482072
版权

机器学习开始学了回归问题的评估函数，经典的有RMSE(Root Mean Square Error)、MSE(Mean Square Error)、MAE(Mean Absolute Error)、RMSLE(Root Mean Square Logarithmic Error)等等。

 

但是分类问题不是拿这些来评估的。面试的时候还被问到了，只知道回归问题的评估标准是真的尴尬。

本文框架参考自：https://towardsdatascience.com/the-5-classification-evaluation-metrics-you-must-know-aa97784ff226

 

1. 准确率(Accuracy Rate)、精确率(Precision Rate)、召回率(Recall Rate，我也不知道为啥要称为recall)：

先说上图这个表格，左边是预测结果，上面是实际结果。

准确率(Accuracy Rate)：

很好理解，就是你预测对的概率，绿色的部分除以四个加起来。

Accuracy=\frac{TP+TN}{TP+TN+FP+FN}

精确率(Precision Rate)：

就是你猜“正(Positive)”中，猜对的概率

Precision=\frac{TP}{TP+FP}

召回率(Recall Rate)：

这是实际结果为“正(Positive)”中，你猜对的概率

Recall=\frac{TP}{TP+FN}

 

2. F1-score：

参考的文章中说，F1-score反应分类模型的精确率和召回率(Precision、Recall)的平衡问题。

F1=2*\frac{Precision*Recall}{Precision+Recall}

也就是：

F1=\frac{2}{\frac{1}{Precision}+\frac{1}{Recall}}

从式子中可以看出当Precision和Recall两者之一很小的时候，整个式子的就很大，F1就接近0。

所以Precision和Recall的关系如图：

将1中的式子代入计算，得到：

F1=\frac{1}{1+\frac{FP+FN}{2*TP}}

从这式子可以看出，当TP足够大时，F1会趋向于1；

而随着FP、FN的数量逐渐增大，挤兑TP的数量使其变小，则F1会逐渐增大；

当FP或FN中的任何一个数量变得很大的时候，\frac{FP+FN}{2*TP}的值会迅速增大，使得F1趋向于0；

但只要FP+FN的值不变，其实F1-score都不会变化。

也就是说，在F1-score中，精确率和召回率的比重(weight)是相同的。

所以也引入了

F1=(1+\beta ^{2})*\frac{Precision*Recall}{\beta ^{2}*Precision+Recall}

来调整精确率和召回率的比重关系。

 

3. 对数损失（或称，二元交叉熵）Logarithmic Loss/Binary Crossentropy

这种评估方法针对的是，模型的预测结果是概率值，而不是直接输出预测值的情况，因为下面展示的损失函数会用到概率值p，这是直接输出预测值的模型没有的。

通常适用于评估逻辑回归或者神经网络模型的结果。

损失函数：

在这个函数中，y代表实际结果，p代表预测的y=1的概率，也就是p=P(y=1)

当y=1时，如果预测结果显示y=1的概率很低，也就是预测很离谱的时候，log(p)的值就会趋于负无穷，导致损失函数非常大；

当y=0时，同样，如果预测结果显示y=1的概率很高，也就是预测很不正确的时候，(1-y)log(1-p)的值也会趋于负无穷，损失函数极大。

下图是y=1的情况下，损失函数随着p值的变化：

Python调用代码：

from sklearn.metrics import log_loss  
log_loss(y_true, y_pred, eps=1e-15)

# where y_pred are probabilities and y_true are binary class labels

关于log_loss的用法，documentation讲的太少，很多地方感觉没解释清楚，以下是我搜一些文章看来的，不一定正确。

documentation：https://scikit-learn.org/stable/modules/generated/sklearn.metrics.log_loss.html

这里的y_true是实际预测值，也就是上面损失函数的y；如果实际值是个categorical量，那么会按字母拼音排序分配为0或者1。

y_pred是预测结果为对应y的概率，跟上面损失函数的p不太一样。

也就是如果你是一个二元分类预测，y_true=1，那么对应的y_pred就是P(y=1)；如果y_true=0，则y_pred=P(y=0)，这里有所不同。

y_true和y_pred的宽度要求一致。

 

4. 分类数据的交叉熵

就是第三节的多分类的拓展版。

损失函数：

就是多个实际值以及他们对应的概率的熵值累加。

用法一样，不多赘述。

 

5. ROC曲线和AUC（AUC指ROC曲线的面积）

这里不得不呕血推荐，statquest：https://www.youtube.com/watch?v=4jRBRDbJemM

看下来之后我用一句话总结ROC的核心就是，“宁可犯错，绝不放过”。

ROC，中文为受试者工作特征曲线。

在ROC的曲线图中，我们需要知道横坐标和纵坐标代表的意思。

横坐标：False Postive Rate，指的是实际结果为Negative负的样本中，你预测错误，即你预测为Positive正的比率。

False Positive Rate=1-specificity=1-\frac{TN}{TN+FP}=\frac{FP}{TN+FP}

其中

specificity=\frac{TN}{TN+FP}

纵坐标：True Positive Rate，指的是实际结果为Postive正的样本中，你预测正确，即你你预测为Postive正的比率。

True Positive Rate=Sensitivity=\frac{TP}{TP+FN}

那讨论这两个量有什么意义呢？

假如你现在面对的一个预测问题是，病人被病毒感染的概率，那么从公共卫生安全的角度出发，我们所希望的是，即使误诊，也不要放过任何被感染个体的可能，防止出现大型的病毒传播事件。

在这里，就体现为：我们要尽可能地增大纵坐标的数值，确保阳性的患者被尽可能地一个不漏地诊断出来。

这个问题对应到我们训练模型的时候，就变成了阈值的取值问题。

比如一般情况下，我们在进行逻辑回归的时候，会将 P(y=1)>0.5的样本归类为类别1，反之将 P(y=1)<0.5的样本归类为类别0。

那么面对这个病毒感染问题的时候，我们宁可将0.5减少至比如0.1。即当这个样本有10%的机会感染的时候，我们也要把他归类为感染。

在这种情况下，

纵坐标的值会非常理想！但随着，横坐标的值，也就是原本没有被感染的人被误诊为感染的概率也可能会提升。

于是我们给横坐标与纵坐标的关系曲线，他是根据逐渐变化分类阈值而给出的曲线。

这就是ROC曲线：

（说明： 根据训练集绘制ROC曲线的时候，将所有样本P(y=1)的概率排序后，按顺序选取他们的概率作为阈值，即可得出新的横坐标值和纵坐标值，得到和样本数一样多的点后，连成曲线，就得到了我们在实际训练中的ROC曲线。也就是说，ROC曲线不是又函数绘制出来的，而是由一个个点串连成的。）

那么根据ROC曲线，你就可以找到最合适的点，即找到分类模型最理想的阈值。

 

AUC，Area Under Curve，翻译成中文就是“曲线下的面积”。

这就没什么好理解的，它就是一个评估ROC曲线好坏的方式。

比如你用逻辑回归的时候，可以得到一条ROC曲线；你用神经网络模型，会得到另一条ROC曲线。

而ROC曲线的面积越大，通常说明这个模型对于这种”宁错不放“的策略来说，是最好的。

 

 

 

一枚达达
关注
模型评估指标：准确率精确率召回率
AI天才研究院
08-09 899
Model Evaluation Metrics: Accuracy, Precision, Recall 1. Background Introduction In the real
大语言模型原理与工程实践：数据质量评估的挑战
AI天才研究院
05-31 887
1.背景介绍 随着人工智能技术的飞速发展，大型语言模型（Large Language Models, LLMs）已经成为推动自然语言处理（NLP）领域进步的关键驱动力。这些模型在文本生成、机器翻译、对话系统等应用中展现出了卓越的能力。然而，在大规模部署和使用这些模型之前，一个重要的问题是确保输入数据的质量，这直接影响到模型的性能和可靠性。因此，数据质量
分类问题评价指标
ZZ_Panda的博客
07-14 2536
二分类问题 1.混淆矩阵（Confuse Matrix） 混淆矩阵是机器学习中总结分类模型预测结果的情形分析表，以矩阵形式将数据集中的记录按照真实的类别与分类模型作出的分类判断两个标准进行汇总。 预测正例 预测负例 实际正例 TP (True Positive) 被模型预测为正的正样本 TN (True Negative) 被模型预测为负的负样本 实际负例 FP (False Positive) 被
分类问题的评估指标
进击的扛把子
03-27 1309
文章目录 1️⃣ 起始源头 2️⃣ 重要三点 3️⃣ 衍生而出的指标 🍞 召回率==查全率R 🍦 精确率==查准率P 🍞 + 🍦 = 🍰 PR曲线 🍱 准确率 🌮 F1 🍠 Fβ
分类问题的评价指标
codelady_g的博客
02-17 1172
分类问题的评价指标/分类度量，查准率和查全率，PR图，ROC曲线等
分类问题的评价指标（Precision、Recall、Accuracy、F1-Score、Micro-F1、Macro-F1）以及混淆矩阵、ROC曲线
少年龙龙的博客
05-11 1万+
文章目录一、四个基本概念 TP、FP、TN、FN二、精确率（precision）、召回率（recall）、准确率（accuracy）三、F1-Score（F1分数）四、宏平均 Macro-F1 、微平均 Micro-F1、加权平均 Weighted avg五、混淆矩阵（Confusion Matrix）六、ROC 曲线和 AUC（Area Under the Curve，曲线下面积） 一、四个基本概念 TP、FP、TN、FN 真阳性：预测为正，实际为正。把正样本成功预测为正。 TP——True Posit
机器学习 | 分类评估指标
侠的博客
08-08 2059
文章目录1. 分类评估指标1.1 混淆矩阵 Confusion Matrix1.1.1 scikit-learn 混淆矩阵函数接口1.2 真阳性TP、假阳性FP、真阴性TN、假阴性FN1.2.1 衍生评估指标1.3 准确率 Accuracy1.3.1 准确率不适用的情形：信用卡欺诈检测模型（不平衡数据）1.4 精确率 Precision1.4.1 精确率适用情形：垃圾邮件分类（高精度模型）1.5 ...
机器学习 二分类分类阈值_分类指标和阈值介绍
热门推荐
weixin_26752765的博客
09-05 1万+
机器学习 二分类分类阈值 分类评估 (Classification Evaluation) The metric we use to evaluate our classifier depends on the nature of the problem we want to solve and the potential consequences of prediction error. Let...
阅读笔记17：METAPHOR: Metabolic evaluation for mouse blastocysts and oocytes
最新发布
wxw060709的专栏
07-11 852
体外受精的胚胎植入率和发育成功率较低，只有大约30%的胚胎能成功植入并发育到足月，导致需要多次移植周期。现有的评估方法主要使用明场成像，但这种方法提供的生理信息有限。归一化直方图和相位图提供了互补的表征方法，能够详细描述胚胎和卵母细胞的代谢指纹。通过结合这两种技术，研究人员可以获得关于生物样本代谢状态的全面信息，并利用这些信息通过机器学习方法进行有效的分类。这种方法的应用不仅提高了分析的精度，还增强了对复杂生物过程的理解。
分类问题的评估指标一览
zenRRan的博客
07-30 528
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要10分钟跟随小博主，每天进步一丢丢每日英文There is a wholeness about the person who has...
分类问题评价指标及用法
weixin_39263657的博客
09-28 434
一、简介 混淆矩阵（Confuse Matrix） 准确率（Accuracy） 精确率（Precision） 召回率（Recall） F1-Score P-R曲线（Precision-Recall Curve） ROC AUC 多分类 二、混淆矩阵 TP（True Positives）：实际为正例，预测为正例，预测对了。 FN（False Negatives）：实际为正例，预测为负例，预测错了。 TN（True Negatives）：实际为负例，预测为负例，预测对了。 FP（False Positiv
分类问题的 8 种评估方法（全）
菜鸟学Python数据分析
03-22 2955
对于地震的预测，我们希望能够对所有要发生的地震都预测到，即使预测有地震了但是没有发生也能接受，但是不能接受预测没有地震却发生地震的情况。再比如，对于犯罪嫌疑人的定罪，我们不能本着宁可错杀也...
分类算法的评估指标
m0_74242391的博客
04-16 549
机器学习中常用的分类评估算法包括准确率、召回率、F1分数和精确率等。以下是这些算法的优缺点：1. 准确率（Accuracy）：- 优点：直观易懂，是分类模型性能的最基本度量，适用于类别平衡的情况。- 缺点：当数据集高度不平衡时，高准确率可能掩盖了对少数类的识别能力不足。2. 召回率（Recall）：- 优点：关注模型对正类样本的识别能力，对于需要尽可能减少漏报的场景（如医疗诊断）非常有用。- 缺点：召回率高可能伴随着较多的误报，即低精确率。
分类问题评价指标总结
baidu_39638008的博客
10-04 2225
1 二分类 评价指标：准确率，精确率，召回率，F1-Score， AUC, ROC, P-R曲线 对于二分类问题， 1.1 准确率（Accuracy） 准确率就是模型预测正确的样本数量占总样本数量的比例。 一般分类问题采用这个评价指标，但是对于数据集不平衡的情况，准确率就不具有代表性了。比如：有的类别样本多，有的类别样本占比小。若样本多的类别识别率很高，样本少的类别都识别错误，此时用准确率来评估模型的好坏显然不是很好的选择。 1.2 精确率（Precision） ...
白话机器学习1：分类问题中的评价指标
qq_53529450的博客
04-28 1315
通俗解释10种分类问题中的评价指标
分类问题评估函数
zgj_gutou的博客
02-27 608
sklearn的metrics包中有写好的函数可以直接调用 混淆函数 参考网址：https://www.cnblogs.com/klchang/p/9608412.html Tensorflow tf.confusion_matrix 中的 num_classes 参数的含义, 与 scikit-learn sklearn.metrics.confusion_matrix 中的 labels 参数...
二、分类——分类预测的评价指标（附python代码）
Nicole的博客
09-14 1万+
目录 一、常用的分类算法的评价指标 1.混淆矩阵 2.评价指标 如何画ROC曲线？ 一、常用的分类算法的评价指标 （1）Precision （2）Recall （3）F-score （4）Accuracy （5）ROC （6）AUC 1.混淆矩阵 混淆矩阵是监督学习中的一种可视化工具，主要用于比较分类结果和实例的真实信息。矩阵中的每一行代表实例的预测类别，每一列代表实例的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值