泛化误差和经验误差

最新推荐文章于 2023-04-23 21:40:10 发布
最新推荐文章于 2023-04-23 21:40:10 发布
阅读量1.6w 收藏 29
点赞数
分类专栏： 机器学习（理论）
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/seasongirl/article/details/80889488
版权

泛化误差和经验误差
 

目录：

 - 基本概念
 - 数学表达
 - 应用

-------------------
 

基本概念

    西瓜书上的解释，学习器在训练集上的误差成为“训练误差”或“经验误差”。在新样本上的误差称为“泛化误差”。
    以前在机器学习中泛化误差是用来衡量一个学习机器推广未知数据的能力，即根据从样本数据中学习到的规则能够应用到新数据的能力。


数学表达


    

应用


    根据大数定律，经验误差会收敛于泛化误差，两者（在一定容忍下）相近是由hoeffding不等式作为理论保证的，两者相差过大说明模型的欠拟合或者过拟合，而学习的一致收敛性说的正是这一特性：当训练集足够大，两者的结果就会足够相近，这样我们通过样本的“管中窥豹”的目的才能达到，最终才能获得一个目标假设。

参考资料

西瓜书，2.1，12.2，12.3
 
 

seasongirl
关注
  • 0
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
过拟合 (Overfitting)
AI架构设计之禅
05-30 694
过拟合 (Overfitting) 1. 背景介绍 1.1 什么是过拟合？ 过拟合(Overfitting)是机器学习领域中一个常见的问题。当模型过于复杂,以至于开始学习数据中的噪声和不相关的细节时,就会发生过拟合。这种情况下,模型在训练数据
经验误差与泛化误差、偏差与方差、欠拟合与过拟合、交叉验证
zhihua_oba的博客
12-01 1万+
经验误差与泛化误差、偏差与方差、欠拟合与过拟合、交叉验证 主要内容 经验误差与泛化误差 偏差与方差 欠拟合与过拟合 交叉验证 一、经验误差（训练误差）与泛化误差   经验误差（训练误差）：模型在训练集上的误差称为“经验误差”（empirical error）或者“训练误差”“training error”。   泛化误差：模型在新样本集（测试集）上的误差称为“泛化误差”（generalizat
经验误差与过拟合
最新发布
sinat_31608641的博客
04-23 163
遗憾的是，这样的学习器在多数情况下都不好。然而，当学习器把训练样本学得“太好”时，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样会致使泛化性能的下降，这种现象在机器学习中称作“过拟合”，与过拟合相对的是“欠拟合”，欠拟合是指对训练样本的一般性质尚未学好。欠拟合较为容易克服，例如在决策树学习中扩展分支、在神经网络学习中增加训练轮数等，而过拟合问题的解决较为麻烦，也是机器学习面临的关键障碍，各类学习算法都会有针对过拟合的措施，但是过拟合是无法完全避免的，我们能做的只是“缓解”。
周志华《机器学习》 学习笔记（三） 经验误差、过拟合与评估方法
HJ
02-04 1829
一、经验误差   通常我们把分类错误的样本数占样本总数的比例称为“错误率”，即如果在m个样本中有a个样本分类错误，则错误率E = a / m；相应的，1 – a / m称为“精度”（accuracy），即“精度 = 1 - 错误率”。更一般地，我们把学习器的实际预测输出与样本的真是输出之间的差异称为“误差”，学习器在训练集上的误差称为“训练误差”或“经验误差”，在新样本上的误差称为“泛化误差”
机器学习中的误差、经验误差、泛化误差
qq_45431015的博客
09-14 1575
经验误差（训练误差）：模型在训练集上的误差称为“经验误差“（empirical error）（训练误差）。泛化误差：模型在新样本集（测试集）上的误差称为“泛化误差”（generalization error）。误差：学习器的实际预测输出与样本的真实输出之间的差异称为“误差”。
机器学习 泛化误差和偏差-方差
weixin_57038791的博客
11-17 1537
偏差（bias）衡量了模型的预测值与真实值之间的偏离关系。方差（variance）描述的是训练数据在不同迭代阶段的训练模型中，预测值的变化波动情况。简单来说是预测值之间的离散程度，预测值之间的距离越大，数据越散，方差越大。
训练误差与泛化误差的说明
m0_49963403的博客
04-05 3495
深度学习中的泛化误差与训练误差说明
计算学习理论| 用增长函数估计经验误差与泛化误差之间关系的定理的证明（西瓜书定理12.2）
qq_42608345的博客
03-17 391
定理：对假设空间H，m∈N，0<e<1和任意的h∈H有 P(|E(h)-E’(h)>e|)<=4Π(2m)exp(-me^2/8) 其中E(h)为泛化误差，E‘(h)为经验误差，Π(m)为假设空间H的增长函数，即Π(m)=max|{(h(x1),h(x2)…h(xm))|h∈H}| 证明： ...
谈谈对泛化误差的理解
热门推荐
Cerisier的博客
09-28 1万+
个人对泛化误差的看法泛化误差与交叉验证误差这个词我们经常会遇到，在机器学习中，我们最终想要的结果实际上就是减小学习后的估计值和真实值的误差。比如在回归中，我们的 loss function 就表示一个误差。而我们需要做的，就是最小化这个误差，也就是对 object function 的处理。那么什么是泛化误差呢？刚刚说我们最小化了 loss function， 那是不是就一定说明我训练了一些样本后，
深度学习笔记（3）
断言的博客
02-18 960
一、过拟合、欠拟合及其解决方案 二、梯度消失、梯度爆炸、梯度偏移 三、循环神经网络进阶
名词解析之泛化误差
hellocsz的博客
04-03 2426
摘要：以前在机器学习中一直使用经验风险来逼近真实风险，但是事实上大多数情况经验风险并不能够准确逼近真实风险。后来业界就提出了泛化误差的概念（generalization error）,在机器学习中泛化误差是用来衡量一个学习机器推广未知数据的能力，即根据从样本数据中学习到的规则能够应用到新数据的能力。常用的计算方法是：用在训练集上的误差平均值-在测试集上的误差平均值。 一：经验风险 机器学习本质...
模型泛化：偏差、方差、噪声
Robin_Pi的博客
02-27 2362
模型泛化理论概论公式推导泛化误差 = 偏差 + 方差 + 噪声学习噪声：错误标记方差：模型的预测稳定性 - 数据扰动对模型的影响偏差：考察模型本身拟合能力经验误差与泛化能力之间的矛盾分析手段解决办法 理论 概论 泛化误差/预测误差 学习算法的预测误差, 或者说泛化误差(generalization error)可以分解为三个部分: 偏差(bias), 方差(variance) 和噪声(nois...
【模型泛化：偏差、方差、噪声】
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
07-05 1784
转载 https://blog.csdn.net/Robin_Pi/article/details/104539998 模型泛化1. 泛化性能分析1.1 概论1.
经验误差和泛化误差
Jiashilin
04-27 7113
经验误差（empirical error）：也叫训练误差（training error），模型在训练集上的误差。 泛化误差（generalization error）：模型在新样本集（测试集）上的误差称为“泛化误差” ...
机器学习：算法中的泛化误差、偏差、方差、噪声的理解（超详细）
大柳的博客
08-04 1万+
摘要：在现实任务中，我们往往有多种学习算法可供选择，甚至对同一个学习算法，当使用不同的参数配置时，也会产生不同的模型，那么，我们该如何选用哪一个学习算法，使用哪一种参数配置呢？这就是机器学习中的“模型选择”问题，理想的解决方案是对候选模型的泛化误差进行评估，然后选择泛化误差最小的那个模型。 泛化误差意义 以前在机器学习中一直使用经验风险（训练误差）来逼近真实风险，但事实上多数情况经验风险并不能够准确逼近真实风险。后来业界就提出了泛化误差的概念（generalization error）,在机器学习.
霍夫丁不等式
双杯献酒的专栏
04-15 491
Hoeffding’s Inequality (Wassily Hoeffding于1963年) 1. 如果我们选定一个二分分类器预测函数f, 假设将f按概率应用于整个样本空间， 某些预测会错误， 这样可以得到一个预测错误的比例， 这就是泛化误差。 因为我们实际上不可能测试无限的数据集，所以泛化误差实际是无法得到的。 当我们把f应用于一个已标记的测试集T， 同样可以得到一个预测错误...
模型泛化能力(泛化误差+泛化误差上界)| 15mins 入门 | 《统计学习方法》学习笔记（六）
用途：中英文学习笔记，如有侵权，可评论留言，及时清理；学历：NUS计算机硕士；SYSU地球物理学士
04-16 2122
泛化能力 一、 泛化误差 学习方法的泛化能力（generalization ability）：方法学习到的模型对未知数据的预测能力。 评价标准：测试误差。 但因为测试数据集是有限的，很有可能由此得到的评价结果是不可靠的。统计学习理论试图从理论上对学习方法的泛化能力进行分析。 泛化误差定义：如果学习到的模型是f^\hat ff^​，那么用这个模型对未知数据预测的误差即为泛化误差（generali...
【机器学习】理解方差、偏差且其泛化误差的关系
探索世界，改变世界
08-03 3894
符号 涵义 测试样本 数据集 在数据集中的标记 的真实标记 训练集  学得的模型 由训练集 学得的模型对 的预测输出 模型 对的 期望预测 输出   方差 在一个训练集 D上模型 f对测试样本 x的预测输出为 f(x;D), 那么学习算法 f对测试样本 x的 期望预测 为: 上面的期望预测也就是...
什么是泛化误差和经验误差？是不是泛化误差和经验误差越小越好？
03-27
通常情况下，我们希望泛化误差和经验误差都要尽可能小。但是，当模型在训练数据上的表现很好，却在新数据上表现差时，则说明模型过拟合了，泛化误差反而会增加。因此，我们需要在训练过程中对模型进行评估和调整，以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值