关于评估标准的理解（样本不平衡，准确率，召回率，ROC曲线等）

最新推荐文章于 2024-01-05 20:08:20 发布
最新推荐文章于 2024-01-05 20:08:20 发布
阅读量1w 收藏 55
点赞数 14
分类专栏： 机器学习 文章标签： 机器学习 模型评估
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37695697/article/details/85069169
版权

今天在分析数据的时候遇到一个样本数据不平衡的问题，以前在学习机器学习的时候有学到样本数据不平衡的原因和解决方法，不过因为那时候并不在意，觉得数据多得是嘛，不平横就随机训练和丢弃一些就好了，根本没仔细考虑到数据量小的情况。

有时候数据量呈现8比2的比例，也就是正样本与负样本的数量比为8:2，这时候在做机器学习就需要考虑如何合理的训练与分配数据了，值得一提的是，样本不平衡的情况十分常见。

不过样本不平衡会带来什么问题呢，这也是今天想讲的一点故事，举个十分简单又实际的例子

假设有10个人 8个好人和2个坏人
如果存在一个机器学习模型，遇到人就说好人，那么模型的预测结果将会是 好人, 好人, ......

利用准确率的计算方式 ACC = 8个好人预测正确/总共有10个人 = 0.8 得这个机器模型的预测准确率为80%
有没有感觉很奇怪，我猜硬币才只有50%正确率，怎么这个模型只说好人，准确率这么高的？
而且，这个模型是不是不能够识别坏人？

其实原因有两个 1. 数据不平衡 2. 准确率不适合数据不平横的情况

准确率是非常直观的度量指标，也是我们接触的最多的，不过在对付数据不平衡的问题下，准确率就难以反映真实情况。

准确率，在二分类任务中，因为总共只有好或者坏，所以 准确率 = 准确预测好人的能力 + 准确预测坏人的能力

不知道大家有没有发现，虽然不能够识别坏人，但是准确预测好人的能力这个可以拉分，只要好人多过坏人，那么我就可以保证我的预测能力大于50%，如果全是好人，那么我的准确率就100%。准确率就是这么被直接拉高了。因为在数据不平衡的情况下，预测好人的能力的占比可能大于一半，从而掩盖了预测坏人能力比较弱的事实。

这就是为什么在数据不平衡的情况下，准确率无法体现模型的真实水平。
不过还是有多人直接在数据不平衡下用准确率作为指标，在某些准确率高达95,96%的实验结果上，连样本数据都是不平横的。这样的准确率是无意义的。

对于上述情况，我们可以从两个方面解决 1. 解决数据不平衡问题 2. 细化评估指标

  • 解决数据不平衡问题
    最简单的方法就是补6个坏人平衡数据，那么总共就有16个人，模型的准确率就变为 8/16 = 0.5，一半准确率那就等于随便猜了。数据不平横的方法还有很多，以后会深入研究

  • 细化评估指标
    在现实生活中，解决数据不平衡数据是一个比较麻烦的问题，如果可以通过其他更详细的指标来评估，而不是去修改数据本身，那么是比较节省时间的。

于是乎才有我们今天要说的东西 - 评估指标 （这才是今天的重点）

我们知道 准确率 = 准确预测好人的能力 + 准确预测坏人的能力。把准确率细化为两个指标，分别是 指标1. 准确预测好人的能力 ， 指标2. 准确预测坏人的能力

其实，准确预测好人的能力实际上就是敏感度，而准确预测坏人的能力就是特异度，都是机器学习上非常常用的度量指标

  1. 敏感度 sensitivity
    样本实际值为好人，模型把它预测为好人的正确率。公式： Sensitivity = True positives / (True positives + False negatives)。

  2. 特异度 specificity
    样本实际值为坏人，模型把它预测为坏人的正确率。公式：Specificity = True negatives / (True negatives + False positives)

如果敏感度高，特异度低，那么模型只会看好人，不会看坏人。
如果敏感度低，特异度高，模型只会看坏人，不会看好人。
只有敏感度和特异度都比较高，模型既可以分辨好人，也可以分辨坏人，才是一个有用的模型。

我们将这两个指标应用到上面的例子上，敏感度 = 8/8 = 1 ，特异度 = 0/2 = 0
可以看出，虽然敏感度特别高，但是特异度为0，说明这个模型不具备识别坏人的能力，所以这个模型是没有用的。

如果理解了敏感度和特异度，我们就可以开始了解一下混淆矩阵，解释一下上面的公式在说什么

m

左边 Real 表示实际值， Predict 表示预测值
我们把0看为好人，1看为坏人，那么

  • a：实际为好人，预测也为好人 - 叫作 真阳性 True Positive
  • b：实际为好人，预测为坏人 - 叫作假阴性 False Negative，也叫作误报 Type 1 error
  • c：实际为坏人，预测为好人 - 叫作假阳性 False Positive，漏报 Type 2 error
  • d：实际为坏人，预测为坏人 - 叫做真阴性 True Negative

最低0.47元/天 解锁文章
分类模型评估：混淆矩阵、准确率、召回率、ROC
Laurence的技术博客
02-13 4048
在二分类问题中，混淆矩阵被用来度量模型的准确率。因为在二分类问题中单一样本的预测结果只有Yes or No，即：真或者假两种结果，所以全体样本的经二分类模型处理后，处理结果不外乎四种情况，每种情况都有一个专门称谓，如果用一个2行2列表格描述，得到的就是“混淆矩阵”。其中，假阳性（FP）又被称为“Type 1 Error”，假阴性（FN）又被称为“Type 2 Error”。在所有“预测为真”（TP+FP）的数据中，有多少是“真得预测对了”（TP）的? 这个百分比叫“准确率”（Precision）在所有“实际
模型评价指标----准确率、精准率、召回率、F1、ROC曲线、AUC曲线
m0_37737957的博客
08-28 1159
1、精确率（Precision）与召回率（Recall） 2、Precision-recall 曲线、F1-score与准确率（accuracy） 3、ROC、AUC 4、Per-Region-Overlap（PRO）
机器学习中，不平衡样本多分类评估指标采用哪些？准确率很高，召回率在少数样本上较低。
lizz2276的博客
07-17 2409
Macro F1，这个指标计算每一类的F1 score然后求算术平均，如果模型在小样本上表现不好，小样本的F1会极大程度上拉低Macro F1。除了F1之外还有Macro recall，Macro precision，计算原理是一样的。 另，Micro F1在多样本分类中等价于accuracy，可以认为Micro偏向大样本类别，而Macro偏向小样本类别。 作者：Maple小七 链接：https://www.zhihu.com/question/385535335/answer/1183140869
为什么ROC曲线不受样本不均衡问题的影响
definei的博客
09-14 1401
话不多说，首先看一下ROC的横纵坐标 可以看出，TPR考虑的都是正例，既分母TP+FN是真实正例的数目；FPR考虑的都是负例，分母FP+TN是真实负例的数目。 那么为什么ROC不受样本不平衡的影响呢？ 想一下ROC曲线绘画过程，可以看成以预测为正例的概率进行排序，然后概率由大到小依次把样本预测为正例，每次把一个样本当成正例ROC曲线上就多了一个点（TPR,FPR）。这个过程也可以看成一个...
样本分布不平衡，机器学习准确率高又有什么用？
悟道西方
05-31 1815
前面无论是用全部变量还是筛选出的特征变量、无论如何十折交叉验证调参，获得的模型应用于测试集时虽然预测准确率能在90%以上，但与不基于任何信息的随机猜测相比，这个模型都是统计不显著的 （这一...
样本不平衡问题
liang2713020的博客
02-26 1342
样本类别相差很大，比如，正样本998个，负样本2个，训练得到的模型将永远将新样本预测为正样本，这样的模型毫无价值。一般解决样本不平衡问题从三个方向出发：第一：上采样【也叫过采样】，增加补充少的类别样本，比如这里增多负样本，使得正负样本的比例差不多。需注意的是上采样不能简单的对初始样本重复采样，否则容易导致过拟合。可以对已有的正样本利用类似于插值法加入一些噪声干扰。第二：下采样【也叫欠采样】，减少删...
提高类不平衡数据的分类准确率
qq_43684686的博客
05-14 712
提高类不平衡数据的分类准确率二分类数据（训练集分布）过抽样 oversampling欠抽样 Under-sampling逻辑阈值移动Threshold-moving组合方法Ensemble techniques 二分类 数据（训练集分布） 过抽样 oversampling 对正元组再采样，直到训练集的正例与负例数量相同 欠抽样 Under-sampling 减少负元组的数量，随机地从负类删除元组，直到训练集的正例与负例数量相同 逻辑 阈值移动Threshold-moving 修改模型，移动决策阈值设定，使得
20190701——分类的评估方法 样本不均衡
寄蜉蝣于天地，渺沧海之一粟。
07-01 502
精确率和召回率 模型的稳健性 召回率 查的全不全 在样本不均衡的情况下， 引入ROC曲线与AUC指标
Sklearn机器学习——样本不平衡问题解决、精确率、召回率、ROC曲线
qq_47250064的博客
09-01 6960
介绍样本分类不平衡问题的解决办法，以及SVC的六个模型评价指标，ROC曲线。
模型评估方法以及评估指标——准确率、精确率、召回率以及P-R曲线和ROC曲线介绍
qq_42600675的博客
12-06 1万+
模型评估方法以及评估指标介绍前言一、准确率、精确率、召回率1.1 准确率(Accuracy)1.2 精确率(Precision)1.3 召回率(Recall)二、P-R曲线和ROC曲线2.1 P-R曲线2.2 ROC曲线三、模型评估验证方法3.1 Holdout检验3.2 交叉检验3.3 自助法 前言 ”没有测量，就没有科学“ 在机器学习中，只有选择与问题相匹配的评估方法，才能快速地发现模型选择或训练过程中出现的问题，迭代地对模型进行优化。模型评估主要是离线评估和在线评估两个阶段，本文整理了常见的模
13.解决样本不均衡问题
haidixipan的博客
11-07 818
实际工作中经常遇到样本不均衡问题，比如某P2P平台预测用户信誉，1为信誉良好，0为有违约记录，样本采集下来为1的样本占绝大多数（比如90%），此时如果你用分类模型，目标函数是准确率，那么即使你全部预测为1，那么准确率也为90%，会极大的影响模型效果。 因此在我们在训练模型之前，先要处理样本均衡的问题，总结方法如下： 1.上下采样：上采样为增加小众样本数量（一份数据复制多份），下采样为减少大众样...
ROC及AUC计算方法及原理
热门推荐
糖葫芦君的博客
07-30 8万+
1.非均衡分类问题 在大多数情况下不同类别的分类代价并不相等，即将样本分类为正例或反例的代价是不能相提并论的。例如在垃圾邮件过滤中，我们希望重要的邮件永远不要被误判为垃圾邮件，还有在癌症检测中，宁愿误判也不漏判。在这种情况下，仅仅使用分类错误率来度量是不充分的，这样的度量错误掩盖了样例如何被错分的事实。所以，在分类中，当某个类别的重要性高于其他类别时，可以使用Precison和Recall多个比...
【ROC曲线】关于ROC曲线、PR曲线对于不平衡样本的不敏感性分析说引发的思考...
07-12 2070
ROC曲线 在网上有很多地方都有说ROC曲线对于正负样本比例不敏感，即正负样本比例的变化不会改变ROC曲线。但是对于PR曲线就不一样了。PR曲线会随着正负样本比例的变化而变化。但是没有一个有十分具体和严谨地对此做出过分析和论证（至少我没有找到）。 此处记为结论1： 结论1：PR曲线会随着正负样本比例的变化而变化；但是ROC曲线不会。 此处...
【机器学习】处理样本不平衡的问题
weixin_39107270的博客
08-02 1665
通常，在数据集噪声较小的情况下，可以用BalanceCascade，可以用较少的基分类器数量得到较好的表现（基于串行的集成学习方法，对噪声敏感容易过拟合）。需要注意的是，过采样可能会导致模型对少数类别样本过拟合的问题，因此在应用过采样之前，需要仔细评估其对模型性能的影响，并选择适当的评估指标来评估模型的效果。值得注意的是，欠采样可能会导致信息丢失，因此在应用欠采样之前，需要仔细评估其对模型性能的影响，并选择适当的评估指标来评估模型的效果。：精确率是指模型预测为正例的样本中，实际为正例的比例。
样本不均衡及其解决办法
dfly_zx的博客
02-26 9055
1 什么是类别不均衡 类别不平衡（class-imbalance），也叫数据倾斜，数据不平衡，是指分类任务中不同类别的训练样例数目差别很大的情况。 在现实的分类学习任务中，我们经常会遇到类别不平衡，例如广告点击率预测、故障分析、异常检测等；或者在通过拆分法解决多分类问题时，即使原始问题中不同类别的训练样例数目相当，在使用OvR（One vs. Rest）、MvM（Many vs. Many）策略后产生的二分类任务仍然可能出现类别不平衡现象。而标准机器学习算法通常假设不同类别的样本数量大致相似，所以类别不
C2-3.4.1 精准率 和 召回率——解决样本不平衡的情况下 准确率的问题
weixin_46228946的博客
01-05 1286
总结一句话：精准率 和 召回率——解决**样本不平衡**的情况下 **准确率**的问题
不平衡多分类问题模型评估指标探讨与sklearn.metrics实践
肖永威的专栏
05-08 6559
我们在用机器学习、深度学习建模、训练模型过程中，需要对我们模型进行评估、评价，并依据评估结果决策下一步工作策略，常用的评估指标有准确率、精准率、召回率、F1分数、ROC、AUC、MAE、MSE等等，本文将结合SKlearn的metrics所封装的函数，重点围绕多分类问题实践评估指标。
不平衡学习算法的评估指标
天泽28的专栏
04-29 1万+
不平衡学习算法的评估指标 先来看下类不平衡的定义：对于二元分类问题，存在类别分布不平衡的问题，即某一类别的样本数量远远多于另一类（分别称为多数类和少数类）。具有这样特征的二元分类数据集被称为不平衡的（Imbalanced Data），有时候也称（skewed data）。 分类错误率作为传统分类学习的评估指标，显然无法适应于不平衡分类问题。至于为什么，这里给大家举个例子解释一下：
[机器学习] 通俗理解机器学习分类模型评估指标-准确率、精准率、召回率
摩登都市天空---专栏
09-21 2075
一直总是听说过这几个词，但是很容易记混，在这里记录一下。希望对大家理解有帮助。很多人分不清召回率和精确率的区别，即使记住了公式，过段时间还是会忘掉，这里我会完全讲清楚这几个率的区别准确率很好理解，被正确预测出来的数量 / 所有的样本，这里不在赘述，主要讲解精确率和召回率虽然准确率能够判断总的正确率，但是在的情况下，并不能作为很好的指标来衡量结果。比如在样本集中，正样本有90个，负样本有10个，样本是严重的不均衡。
准确率，召回率F1 曲线
最新发布
02-24
### 准确率、召回率和F1分数的概念 准确率（Precision），指的是预测为正类的样本中实际为正类的比例。高精度意味着模型对于它所做出的积极预测非常有信心[^1]。 召回率（Recall），也被称为灵敏度或真正率，是指所有实际为正类的样本中有多少比例被成功识别出来。当希望尽可能多地找到所有的正实例时，较高的召回率是非常重要的[^2]。 F1分数是精确率和召回率的一个调和平均数，提供了一个单一指标来衡量二者的平衡情况。特别是在类别不均衡的数据集中，F1得分能更好地反映出模型的整体性能。 ### 绘制 Precision-Recall 曲线的方法 为了绘制 Precision-Recall (P-R) 曲线，在不同阈值下计算一系列的精准率和召回率点，并将这些点连成一条曲线。随着阈值的变化，曲线上每一点都对应着特定条件下的模型表现： ```python from sklearn.metrics import precision_recall_curve import matplotlib.pyplot as plt def plot_precision_recall(y_true, y_scores): precisions, recalls, thresholds = precision_recall_curve(y_true, y_scores) plt.figure(figsize=(8, 6)) plt.plot(thresholds, precisions[:-1], "b--", label="Precision") plt.plot(thresholds, recalls[:-1], "g-", label="Recall") plt.xlabel("Threshold") plt.legend(loc='best') plt.ylim([0, 1]) # Plot P-R curve without threshold dependency plt.figure(figsize=(8, 6)) plt.plot(recalls, precisions, 'r-', lw=2) plt.xlim([0.0, 1.0]) plt.ylim([0.0, 1.05]) plt.xlabel('Recall') plt.ylabel('Precision') plt.title('Precision vs Recall Curve') plt.show() ``` 这段代码展示了如何基于给定的真实标签 `y_true` 和概率估计 `y_scores` 来创建 Precision-Recall 图表。 ### ROC曲线与AUC的理解 接收者操作特性（ROC）曲线通过改变决策边界来展示分类器的表现。该曲线以假阳性率(FPR)作为横坐标，真阳性率(TPR)，即召回率为纵坐标。理想情况下，一个好的分类器应该具有靠近左上角的ROC曲线，这意味着即使在较低的误报水平下也能保持高的检测成功率[^3]。 面积在ROC下方的部分定义为 AUC 值；理论上讲，完美的分类器会得到一个等于1的最大可能AUC值。而随机猜测则会产生大约0.5左右的AUC值。因此，较大的AUC表明更好的区分能力。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值