分类算法中常用的评估指标

最新推荐文章于 2023-05-11 12:16:14 发布
最新推荐文章于 2023-05-11 12:16:14 发布
阅读量1.8k 收藏 4
点赞数 2
分类专栏： python机器学习实战
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_29957455/article/details/108822247
版权
导读

通常我们在解决某个问题的时候，会设计多种分类算法在训练的时候我们还会调节各种超参以及使用各种trick以获取最优的分类模型，那这时候我们应该如何来衡量这个最优呢？

分类算法的评估指标有很多种，选择使用哪一种评估指标，应该根据实际情况来进行选择，而不能一概而定。

混淆矩阵

我们先来了解一下混淆矩阵，后面的分类评估指标其实都是在这个基础上发展而来，理解了这个，再去学习后面的评估指标就很简单了。

混淆矩阵(confusion matrix)：是机器学习领域和统计分类问题中常用的可视化工具，从名字上不能看出其实它就是一个矩阵，它主要由两个维度组成实际类别和预测类别。矩阵的每一列代表一个类的实例预测，而每一行表示一个实际的类的实例。之所以如此命名，是因为通过这个矩阵可以方便地看出机器是否将两个不同的类混淆了（比如说把一个类错当成了另一个）。下面我们来看一个猫狗分类的实例

实际类别
猫 狗
预测类别 猫 5 2
狗 3 3

上面的表格很简洁的展示了分类模型的预测结果&

了解本专栏 订阅专栏 解锁全文 超级会员免费看
修炼之路
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
模型评价指标
01-21
在此总结一下基本的模型评价指标和使用方法： 附上几个写的比较清晰的博客： 常见的回归评价 一文读懂分类算法常用评价指标 解sklearn中logloss的计算过程 评价指标的选择是很重要的 回归问题 MSE（均方误差） 真实值与预测值的差值的平方然后求和平均 from sklearn import metrics a=np.array([1,2,3,4]) b=np.array([2,3,2,4]) ans=metrics.mean_squared_error(a,b) RMSE(均方根误差) 平滑可微的，是很多模型的默认评价指标 ans=np.sqrt(metrics.mean_sq
文本自动分类技术研究综述
02-21
文章从文本表示、特征选择、分类算法、常用基准语料以及评估指标等方面对近年来的研究成果进行综述并讨论。认为短文本分类和多语言文本分类管理是新出现的重要且紧迫的问题,并对这两个问题以及数据集偏斜、多层分类、标注瓶颈等几个关键问题进行重点讨论。最后总结并展望这些研究内容。
机器学习基础算法原理分析
09-10
本文以线性回归（Linear Regression）作为引入，随后介绍了常用的分类算法逻辑回归(Logistic Regression, LR)、Softmax Regression以及神经网络(Neural Network, NN)。然后分析了常见学习模型的拟合状态判断依据——偏差、方差，以及如何避免过拟合，模型的评价指标等。最后分析了常用的参数优化方法——梯度下降、Normal Equations等。
基于RB-XGBoost算法的智能电网调度控制系统健康度评价模型
01-14
针对智能电网调度控制系统(D5000系统)健康度评价，基于专家经验的传统评价方法存在主观性较大的问题，机器学习多分类方法是提高评价客观性的一种有效手段，但健康度各等级样本数目间存在的不平衡问题导致分类准确率较低，为此提出一种基于随机平衡和极端梯度提升(RB-XGBoost)算法的D5000系统健康度评价模型。首先，针对系统各评价等级样本数目严重不平衡的问题，提出一种自适应随机平衡(RB)的混合采样方法，分别以等级间样本数目的最大值、最小值作为采样区间的上、下限，生成多个随机数对各等级样本数据进行欠采样或过采样，增加训练数据的多样性并降低其不平衡程度；然后，训练平衡后的样本数据，建立极端梯度提升(XGBoost)算法子模型，考虑到各子模型重要度的一致性，提出采用硬投票方式集成所有子模型，得到与D5000系统各子模块对应的评价模型；最后，根据该系统指标层级关系，在评价过程中采用并、串行结合的计算方式，构建包含17个RB-XGBoost模型的D5000系统整体健康度评价模型。8组KEEL数据库中多类不平衡数据集的实验结果表明，与现有同类典型方法相比，所提方法的平均分类准确率最高提升了6.79
混淆矩阵评价指标_讲解几个数据分析的常用指标
weixin_39618574的博客
12-16 2314
评价指标是评判数据表现的衡量标准，它是数据分析中非常重要的部分，也是产品经理必须掌握的重点内容。不同的数分任务采用不同的评价指标，对于同一种任务在不同场景下也会采用不同的评价指标。例如在检测垃圾邮件这个场景中，这是一个典型的二分类问题，所以可以用精确率和AUC曲线这两个指标判断模型的效果；在人脸识别场景中，使用误识率、拒识率和ROC曲线这三个指标评判模型的效果。不同指标的着重点不一样，一个指标在不...
机器学习 评估指标 之混淆矩阵以及可视化
01-20
1、混淆矩阵 它是衡量分类型模型准确度中最基本，最直观，计算最简单的方法 以实际标签为行， 预测标签为列 例如： 0 1 2 （实际标签） 0 45 4 3 1 11 50 5 2 2 5 55 主对角线上的值越大其余地方值越小说明模型越好 2、代码实现 以及可视化 操作 数据下载地址 链接: https://pan.baidu.com/s/1f-C7LSqo-zzZzFXjQIC0lQ 提取码: qb2a # -*- coding:utf-8 -*- import numpy as np import matplo
[机器学习笔记] 混淆矩阵（Confusion Matrix）
梅森上校的博客 业精于勤荒于嬉，形成于思毁于随。
03-24 10万+
混淆矩阵（Confusion Matrix） 在机器学习领域，混淆矩阵（Confusion Matrix），又称为可能性矩阵或错误矩阵。混淆矩阵是可视化工具，特别用于监督学习，在无监督学习一般叫做匹配矩阵。在图像精度评价中，主要用于比较分类结果和实际测得值，可以把分类结果的精度显示在一个混淆矩阵里面。 混淆矩阵的结构一般如下图表示的方法。 混淆矩阵要表达的含义： 混淆矩阵的每一列代表了预测...
评估分类模型—混淆矩阵Confusion Matrix与评估指标
qq_44733706的博客
05-11 3313
对于设计好的分类模型，需要大量的数据集来对其性能进行评估，因此了解评估指标是十分重要的。
【机器学习-分类模型评价指标】混淆矩阵&分类报告
m0_51933492的博客
08-26 5909
混淆矩阵是评判模型结果的指标，属于模型评估的一部分。此外，混淆矩阵多用于判断分类器（Classifier）的优劣，适用于分类型的数据模型，如分类树（Classification Tree）、逻辑回归（Logistic Regression）、线性判别分析（Linear Discriminant Analysis）等方法。 混淆矩阵里面统计的是个数，有时候面对大量的数据,光凭算个数，很难衡量模型的优劣。因此混淆矩阵在基本的统计结果上又延伸了如下4个指标 在实际场景中，有时候需要同时关注精准率和召回率。这种情
混淆矩阵(Confusion Matrix)
weixin_36670529的博客
07-04 3万+
简介 混淆矩阵是ROC曲线绘制的基础，同时它也是衡量分类型模型准确度中最基本，最直观，计算最简单的方法。 一句话解释版本： 混淆矩阵就是分别统计分类模型归错类，归对类的观测值个数，然后把结果放在一个表里展示出来。这个表就是混淆矩阵。 数据分析与挖掘体系位置 混淆矩阵是评判模型结果的指标，属于模型评估的一部分。此外，混淆矩阵多用于判断分类器（Classifier）的优劣，适用于分类型的数据......
Python代码实现基于朴素贝叶斯算法的垃圾邮件分类（源码+全部数据）
最新发布
05-01
当处理垃圾邮件分类问题时朴素贝叶斯算法是一种经典且常用的方法。朴素贝叶斯算法基于贝叶斯定理特征条件独立性假设，能够高效地处理文本分类问题。 以下是一个使用Python实现基于朴素贝斯算法的垃圾邮件分类的示例...
算法工程师-机器学习面试题总结
04-20
1-3 回归模型和分类模型常用损失函数有哪些？各有什么优缺点 1-4 什么是结构误差和经验误差？训练模型的时候如何判断已经达到最优？ 1-5 模型的“泛化”能力是指？如何提升模型泛化能力？ 1-6 如何选择合适的...
混淆矩阵介绍以及评价指标(准确率，精确率，召回率，特异度，假警报率，G-mean，F1_score，KS值)
迷雾总会解
11-14 1万+
混淆矩阵 混淆矩阵（Confusion Matrix），可以理解为就是一张表格。混淆这个名字还是很有内涵的，咳咳。 混淆矩阵是判断分类好坏程度的一种方法。另外还有ROC曲线和AUC曲线。 以分类模型中最简单的二分类为例，对于这种问题，我们的模型最终需要判断样本的结果是0还是1，或者说是positive还是negative。 我们通过样本的采集，能够直接知道真实情况下，哪些数据结果是positive，哪些结果是negative。同时，我们通过用样本数据跑出分类型模型的结果，也可以知道模型认为这些数据哪些是p
分类算法常用的评价指标
manduner的博客
06-18 1万+
1，评价指标列表 2，基本概念 针对一个二分类问题，即将实例分成正类（positive）或负类（negative），在实际分类中会出现以下四种情况： （1）若一个实例是正类，并且被预测为正类，即为真正类(True Positive TP) （2）若一个实例是正类，但是被预测为负类，即为假负类(False Negative FN) （3）若一个实例是负类，但是被预测为正类，即为假正类(False ...
分类算法中常用的评价指标
weixin_34220963的博客
03-04 384
本文来自网络，属于对各评价指标的总结，如果看完之后，还不是很理解，可以针对每个评价指标再单独搜索一些学习资料。加油~！ 对于分类算法，常用的评价指标有： （1）Precision （2）Recall （3）F-score （4）Accuracy （5）ROC （6）AUC ps：不建议翻译成中文，尤其是Precision和Accuracy，容易引起歧义。 1.混淆矩阵 混淆矩阵...
【最全的】分类算法的性能度量指标
Amy9_Miss的博客
09-23 2525
机器学习分类算法的评价指标有：混淆矩阵（Confuse Matrix）、准确率（Accuracy）、错误率（ErrorRate）、精准率（Precision）和召回率（Recall）、F1 Score、ROC曲线(Receiver Operating Characteristic Curve)、AUC（Area Under the Curve）、KS曲线、Lift值、P-R曲线 。 接下来对以上这些指标进行一一解释，并给出多分类问题的综合评价指标，如宏平均、微平均、Kappa系数，最后用一个多分类实例来计算
【评价指标】混淆矩阵Confusion Matrix、iou、miou、召回率、准确率及代码实现
ting的博客
03-24 2464
混淆矩阵Confusion Matrix是大小为 (n_classes, n_classes) 的方阵, n_classes 表示类的数量。混淆矩阵可以用于直观展示每个类别的预测情况。并能从中计算精确值(Accuracy)、精确率(Precision)、召回率(Recall)、交并比(IoU)。
4.4.2分类模型评判指标（一） - 混淆矩阵(Confusion Matrix)
热门推荐
Orange_Spotty_Cat的博客
05-31 19万+
简介 混淆矩阵是ROC曲线绘制的基础，同时它也是衡量分类型模型准确度中最基本，最直观，计算最简单的方法。 一句话解释版本： 混淆矩阵就是分别统计分类模型归错类，归对类的观测值个数，然后把结果放在一个表里展示出来。这个表就是混淆矩阵。 数据分析与挖掘体系位置 混淆矩阵是评判模型结果的指标，属于模型评估的一部分。此外，混淆矩阵多用于判断分类器（Classifier）的优劣，适用于...
使用sklearn将数据集分为训练集和测试集
修炼之路
03-07 6万+
在使用机器学习算法之前，通常我们需要先将数据集分为训练集和测试集。在分配训练集和测试集的时候，如果测试集的数据越小，对模型的泛化误差的估计将会越不准确。所以，在划分数据集的时候我们需要进行权衡。在实际应用中，基于整个数据集数据的大小，训练集数据和测试集数据的划分比例是6:4、7:3或8:2。对于庞大的数据可以使用9:1，甚至是99:1。我们可以直接使用sklearn提供的train_test_sp...
神经网络算法常用评价指标
05-23
神经网络算法的常用评价指标包括： 1. 准确率（Accuracy）：分类问题中最常用的指标，表示分类正确的样本数占总样本数的比例。 2. 精确率（Precision）：二分类问题中，指真正例占所有被分类为正例的样本比例。 3. 召回率（Recall）：二分类问题中，指真正例占所有真实正例的样本比例。 4. F1值（F1-Score）：综合考虑精确率和召回率的指标，是精确率和召回率的调和平均数。 5. AUC（Area Under the Curve）：通常用于二分类问题，ROC曲线下的面积。 6. 混淆矩阵（Confusion Matrix）：用于评估分类器的性能，展示分类器在不同类别上预测的结果。 7. 均方误差（Mean Squared Error，MSE）：用于回归问题中，表示预测值与真实值之间的差值的平方和的平均值。 8. 均方根误差（Root Mean Squared Error，RMSE）：均方误差的平方根，常用于回归问题中。 9. R方值（R-Squared）：用于评估回归模型的拟合程度，表示预测值与真实值之间的变异程度占总变异程度的比例。 以上指标是神经网络算法常用的评价指标，不同的应用场景和问题需要选择不同的指标来评估模型的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

修炼之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值