机器学习性能度量

最新推荐文章于 2024-01-24 10:33:44 发布
最新推荐文章于 2024-01-24 10:33:44 发布
阅读量289 收藏 1
点赞数
分类专栏： # 机器学习笔记整合
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37347379/article/details/106819072
版权

机器学习性能度量

评估方法

常见的评估方法有: 1. 留出法（hold-out） 2. 交叉验证法（cross validation）3. 自助法（bootstrap）

留出法（hold-out）

  1. 将已有的数据集分为两个互斥的部分
  2. 保证数据S与T的分布一致
  3. 测试集比例一般保持在1/3 ~ 1/5
    在这里插入图片描述

交叉验证法（cross validation）

将原始数据分成K组(一般是均分),将每个子集数据分别做一次验证集,其余的K-1组子集数据作为训练集,这样会得到K个模型,用这K个模型最终的验证集的分类准确率的平均数作为此K-CV下分类器的性能指标.

  1. K一般大于等于2,实际操作时一般从3开始取,只有在原始数据集合数据量小的时候才会尝试取2.
  2. 交叉验证法可以有效的避免过学习以及欠学习状态的发生,最后得到的结果也比较具有说服性.
    在这里插入图片描述

自助法（bootstrap）

数据集D中包含m个样本，对数据集D进行m次有放回采样，采样到的数据构成数据集D′， 将D′作为训练集，未出现在D′中的数据作为测试集 。
其中样本不出现在D’中的概率为:
在这里插入图片描述数据集中约有36.8%的数据不会出现在训练数据集D’中。
注：1. 适用于小数据集。2. 不会减小训练集规模。 3. 改变了数据分布, 易引起估计偏差。

回归评估指标

回归模型的任务目标是使得预测值能尽量拟合实际值, 因此常用的性能度量方式主要有绝对误差和均方差两种

平均绝对误差（mean absolute error， MAE）

MAE误差又称为 L1范数损失（L1-norm loss）,即预测点与真实点之间距离之差的绝对值的平均值。能更好地反映预测值误差的实际情况。定义为：

在这里插入图片描述

平均平方误差（mean squared error， MSE）

MSE又称为L2范数损失（L2-norm loss），即预测点与真实点之间距离之差平均和的均值。是用来衡量一组数自身的离散程度。定义为：

在这里插入图片描述

均方根误差（root mean square error，RMSE）

是观测值与真值偏差的平方和与观测次数m比值的平方根, 是用来衡量观测值同真值之间的偏差。定义为：

在这里插入图片描述

分类评估指标

分类模型的评估指标比较多,不同的评估指标的侧重点可能不同。

以二分类（正、负）为例：

  1. 真正(TP)：模型预测为正的正样本
  2. 假正(FP)：模型预测为正的负样本
  3. 假负(FN)：模型预测为负的正样本
  4. 真负(TN)：模型预测为负的负样本
    在这里插入图片描述

准确率(accuracy)

用来衡量模型对数据集中样本预测正确的比例, 即: 正确预测的正反例数 /总数
在这里插入图片描述

精度(precision)

是指所有预测为正例的样本(TP + FP)中真正为正例的样本(TP)的比率, 即: 正确预测的正例数 /预测正例总数
在这里插入图片描述

召回率(recall)

是指所有为正例的样本(TP + FN)中真的正例(TP)的比率, 即: 正确预测的正例数 /实际正例总数
在这里插入图片描述

F-Score

精确率(Precision)和召回率(Recall)评估指标,理想情况下做到两个指标都高当然最好，但一般情况下，Precision高，Recall就低，Recall高，Precision就低。
所以在实际中常常需要根据具体情况做出取舍，例如一般的搜索情况，在保证召回率的条件下，尽量提升精确率。引出了一个新的指标F-score,综合考虑Precision和Recall的调和值F-Score
在这里插入图片描述

  1. 当β=1时，称为 F1-score或者 F1-Measure，这时，精确率和召回率都很重要，权重相同。
  2. 当有些情况下，我们认为精确率更重要些，那就调整β的值小于1，
  3. 如果我们认为召回率更重要些，那就调整β的值大于1。

ROC曲线(receiver operating characteristic curve)

根据分类结果计算得到ROC空间中相应的点，连接这些点形成ROC曲线。

真正率(TPR)：预测为正的正样本数 /正样本实际数
在这里插入图片描述
假正率(FPR) ：预测为正的负样本数 /负样本实际数
在这里插入图片描述
在这里插入图片描述>
靠近左上角的ROC曲所代表的分类器准确性最高

AUC(Area Under Curve)

ROC曲线下的面积(ROC的积分) 称为 AUC。根据曲线位置，把整个图划分成了两部分，曲线下方部分的面积被称为AUC（Area Under Curve），用来表示预测准确性，AUC值越高，也就是曲线下方面积越大，说明预测准确率越高。曲线越接近左上角（X越小，Y越大），预测准确率越高。

  1. AUC = 1： 100%完美识别正负类，不管阈值怎么设定都能得出完美预测；
  2. 0.5<AUC<1：优于随机猜测。这个分类器（模型）妥善设定阈值的话，可能有预测价值；
  3. AUC=0.5：跟随机猜测一样（例：随机丢N次硬币， 正反面的概率为50%）， 模型无预测价值；
  4. AUC<0.5：比随机猜测还差，不存在AUC<0.5的情况

混淆矩阵（Confusion Matrix）

又称为误差矩阵, 主要用于比较分类结果和实例的真实信息
在这里插入图片描述

聚类评估指标

因为聚类是将样本集划分为若干个不相交的子集, 及样本簇, 同样需要通过某些性能度量方式来评估其聚类结果的好坏。直观上看，我们是希望同一簇内的样本能尽可能相似，而不同簇的样本之间尽可能不同。实现这一目标主要有外部指标和内部指标两种方式。

外部指标（External Index）

外部指标需要提供一个参考模型，然后将聚类结果与该参数模型进行比较得到一个评判值： 常用的有Jaccard系数、FM指数、Rand指数和标准化互信息

内部指标(Internal Index)

// TODO

参考

  1. http://www.mashangxue123.com/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/1969668933.html
栐木
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习（03）—性能度量
blaank的博客
04-10 623
机器学习模型评估重采样方法模型泛化性能度量 模型评估也是机器学习研究中重要的一部分，主要分为三个步骤： 对数据集进行划分，分为训练集和测试集两部分； 对模型在测试集上面的泛化性能进行度量； 基于测试集上面的泛化性能，依据假设检验来推广到全部数据集上面的泛化性能。 重采样方法 交叉验证法 自助法(bootstrap) 模型泛化性能度量 为了将不同的学习算法的泛化性能进行全面的比较，光靠学习器对某...
机器学习中的性能度量
Shingle_的博客
08-24 592
回归任务 均方误差（Mean squared error, MSE） E(f;D) = \frac{1}{m} \sum_{i=1}^m(f(x_i)-y_i)^2 均方根误差（Root-Mean-Squared-Error, RMSE） E(f;D) = \sqrt{\frac{1}{m} \sum_{i=1}^m(f(x_i)-y_i)^2} = \sqrt{MSE(\...
机器学习：性能度量（详解）
weixin_43786241的博客
09-12 2678
目录简介分类错误率与精度查准率、查全率与 FlROC 与 AUC代价敏感错误率与代价曲线 简介         性能度量： 衡量模型泛化能力的评价标准（反映了任务需求，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果。模型的好坏，不仅取决于算法和数据，还决定于任务需求。）         性能度量主要分为分类任务中的和回归任务中的。 分类 错误率与精度        
机器学习：性能度量
m0_74405427的博客
10-23 105
衡量模型泛化能力的评价标准（反映了任务需求，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果。模型的好坏，不仅取决于算法和数据，还决定于任务需求。性能度量主要分为分类任务中的和回归任务中的。ROC全称Receiver Operating Characteristic，即受试者工作特征，坐标图式的分析工具。ROC 曲线的纵轴是"真正例率" (True Positive Rate，简称 TPR)，横轴是"假正例率" (False PositiveRate， FPR)。
机器学习之性能度量指标
answer3lin的博客
12-06 6028
机器学习的模型性能度量指标 在机器学习中，衡量，评估和选择一个模型好坏是通过一些常见指标实现的，称之为性能指标(Metrics)。 对于一个二分类问题，我们首先给出如下基本指标基于这些指标可以推导出其他指标： ：True Positive(真正, TP)，即模型预测为正的正样本个数（将正类预测为正类数） ：False Positive(假正, FP)，即模型预测为正的负样本个数（本来是负样...
深入理解机器学习——机器学习模型的性能度量
冯·诺依曼
04-05 1万+
对学习器的泛化性能进行评估，不仅需要有效可行的实验估计方法，还需要有衡量模型泛化能力的评价标准，这就是性能度量（performance measure）。 性能度量反映了任务需求，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果；这意味着模型的“好坏”是相对的，什么样的模型是好的，不仅取决于算法和数据，还决定于任务需求。 在预测任务中，给定样例集D={(x1,y1),(x2,y2),⋯ ,(xm,ym)}D=\{(x_1, y_1), (x_2, y_2), \cdots, (x_m, y
机器学习-性能度量
03-05 330
模型评估是对学习器泛化能力有效可行的实验估计方法。而性能度量是衡量模型泛化能力的评价标准。性能度量反应了任务需求，在对比不同模型能力时，使用不同的性能度量往往会导致不同的评估结果。模型的好坏不仅取决于算法和数据，还有任务需求。 1.错误率与精度 　　最常用的两种性能度量，对于样例集D={(x1,y1), (x2,y2), ..., (xm,ym)}。分类错误率定义为 　　精度则...
【机器学习】模型选择（性能度量）原理及实战
fengdu78的博客
07-21 518
0.概述模型的好坏是相对的。什么样的模型是好的，即取决于算法和数据，也取决于任务需求。1. 回归任务的性能度量均方误差均方误差是回归任务最常用的性能度量，表示预测值和实际值之间的误差。2. 分类任务的性能度量真实情况预测结果正例反例正例TP(真正例)FN(假反例)反例FP(假正例)TN(真反例)精度：分类正确的样本占总样本的比例 TP+FN/总例数查准率：预测正确的样本中...
周志华西瓜书-第二天阅读-模型评估
qq_41629976的博客
08-30 156
谈一谈混淆矩阵、ROC、AUC的理解
数学分析方法——各种误差分析的区别总结
热门推荐
Yuan-Tong Jiang
10-24 3万+
总结： （1）相同: 标准差=标准偏差=均方差=实验标准差； 均方根误差=标准误差； 均方根值=方均根值=有效值 （2）不同 均方差≠均方误差 （3）标准差（std）：标准差定义是观测值与其平均数偏差的平方和求平均后的平方根。它反映组内个体间的离散程度。均方根误差（RMSE，root mean square error）：它是观测值与真值偏差的平方和观测次数n比值的平方根。它们的研究...
[Python] scikit-learn - accuracy_score(准确率分数)函数介绍和使用场景（案例）
最新发布
老狼工作室的博客
01-24 3064
本文介绍了scikit-learn库中accuracy_score函数的具体功能、函数原型和使用场景，并提供了一个使用案例来说明其用法和作用。accuracy_score函数是在机器学习中广泛使用的函数，常用于计算分类器的准确率，帮助我们评估和比较不同分类器的性能。在实际应用中，我们可以根据准确率选择最优的分类器来解决具体的问题。
【精华】机器学习入门到精通
02-09
本课程讲解了机器学习必须知识点：机器学习与相关数学初步、数理统计与参数估计、矩阵分析与应用、凸优化问题、回归分析与工程应用、特征工程、工程流程与模型调优、大熵模型与EM算法、推荐系统与应用、聚类算法与应用、决策树知识、支持向量SVM、贝叶斯算法、人工神经网络、卷积神经网络CNN、循环神经网络RNN与LSTM、Caffe&Tensor; Flow&MxNet; 简介、贝叶斯网络和HMM等。
【python机器学习基础教程】（五）
Algernon98的博客
06-05 736
第5章：模型评估与改进
准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measure
qq_40292262的博客
07-02 711
机器学习(ML), 自然语言处理(NLP), 信息检索(IR)等领域, 评估(Evaluation)是一个必要的工作, 而其评价指标往往有如下几点: 准确率(Accuracy), 精确率(Precision), 召回率(Recall) 和 F1-Measure.(注：相对来说，IR 的 ground truth 很多时候是一个 Ordered List, 而不是一个 Bool 类型的 Unordered Collection，在都找到的情况下，排在第三名还是第四名损失并不是很大，而排在第一名和第一百名，虽然
动手深度学习——训练详解
rylrmr的博客
09-29 1399
从简单到复杂，简单阐述了下三种深度学习训练过程
机器学习：准确率（A），精确率（P）、召回率（R）、评价指标（F）及ROC曲线。
燕双嘤
04-20 1万+
1，准确率（Accuracy） 准确率（A）是对预测结果和原结果来说的，表示预测结果中有多少样本预测是正确的。而准确率的局限性：当负样本占99%时，分类器把所有样本都预测为负样本也可以获得99%的准确率。所以，当不同类别的样本比例非常不均衡时，占比大的类别往往成为影响准确率的最主要因素。 就是你预测的准确度： 为了解决准确率局限性，可以使用更为有效的平均准确率（每个类别下的样本准确率的算术平均）作为模型评估的指标。 2，精确率（Precision） 精确率（P值）是针对我们预...
性能度量 | 分类模型的评估指标
大虎牙的博客
05-15 921
分类模型的评估指标 1．准确率（accuracy） 准确率就是用来衡量模型对数据集中样本预测正确的比例，即等于所有预测正确的样本数目与所有参加预测的样本总数目的比。 例3 准确率计算 from sklearn.metrics import accuracy_score y_true = [1,0,2,0,1,0,2,0,0,2] y_pred = [1,0,1,0,0,0,2,0,2,1] accuracy1 = accuracy_score(y_true,y_pred,normalize=True)
【机器学习】 机器学习性能度量
qq_36643449的博客
03-15 243
【误差】 误差指的是模型输出与真值的偏离程度，通常定义一个损失函数来衡量误差的大小。 在训练集上产生的误差称为经验误差或者训练误差，反应了模型在训练数据上拟合效果的好坏。 模型在未知样本上的误差称为泛化误差，通常将测试误差作为泛化误差的近似值，用于衡量训练好的模型对未知数据的预测能力。 【过拟合与欠拟合】 过拟合：模型在训练样本中表现的过于优越，导致在验证数据集和测试数据集中表现不佳。 欠拟合：模...
机器学习中的性能度量与评估
该资源是一个关于机器学习性能度量的PPT，主要讲解了如何评估机器学习模型在分类和回归任务中的表现。其中涉及到的主要概念包括均方误差、正确率、错误率、查准率、查全率、F1分数以及ROC曲线。 在机器学习中，性能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值