李航《统计学习方法》第二版第一章-泛化误差

最新推荐文章于 2024-04-19 10:46:55 发布
最新推荐文章于 2024-04-19 10:46:55 发布
阅读量389 收藏 2
点赞数
文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/so_kind/article/details/120979880
版权

联合概率分布没法直接知道 ，没法求泛化误差，因此只能求泛化误差上界

泛化误差越小，泛化能力越好

 1、数据量大，泛化误差上界趋于0

 2、假设空间容量越大，模型越难学，泛化误差上界越大

泛化误差上界=经验风险+\varepsilon误差，N为样本容量，d为假设空间中函数的个数

经验风险是对损失函数求平均值 

 

二、泛化误差上界推导 

                                 

样本均值的期望等于总体的期望

 

下面为上面图片的证明

X为损失函数

 

 

泛化误差中的第一个不等式

 泛化误差中的误差项

so_kind
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
李航《统计学习方法》（第二版）习题10.1python实现
12-21
题目要求使用后向算法计算，程序中分别使用了前向算法和后向算法，最后得到的结果是一样的。 前向算法和后向算法： 输入是： A: 状态转移概率矩阵 B: 观测概率矩阵 p_i: 初始状态概率向量 O: 观测序列 T: 观测序列的个数 N: 状态序列的个数 输出是： P: 此模型参数下，得到此观测序列的概率 前向算法： def fore_algorithm(A, B, p_i, O, T, N): alpha = np.zeros((T, N)) o = np.zeros(T, np.int) for i in range(T): if O[i]
机器学习笔记（二）学习方法、误差与泛化能力
weixin_44610684的博客
07-18 1264
一、方法 所有的统计学习（机器学习）的方法都是由：模型、策略和算法构成 其中，非监督学习、强化学习同样有三要素，但此处仅说监督学习 （一）模型： 所需要进行学习（训练）的模型类别，也就是确定假设空间 在监督学习中，这一要素即为所需要学习的条件概率分布或决策函数 其中， 假设空间（斜体F）通常是由一个参数向量决定的函数簇 假设空间可能是有限集，但一般有无穷多个模型 所有参数向量取值组成的集合称为参数空间 （二）策略：（最优化问题） 学习的过程就是从模型当中选择一个最优模型的过程，也就..
机器学习(一)模型评估与选择(上)
Raywit的博客
03-17 1846
模型评估与选择1. 误差与过拟合1.1. 误差及其类型1.2. 过拟合/欠拟合2. 评估方法   1. 误差与过拟合           我们在训练模型上，希望泛化误差越小越好，在模型选择上，我们则需要从这三个方面：评估方法、性能度量、比较验证 来考虑，最后选出最优模型。   1.1. ...
西瓜书-机器学习复习＜HENU＞
记录读博日常，记录一些零碎的东西，包括但不限于：工具分享、论文分享、读博心得
01-04 6584
Chapter1 绪论 ！基本术语： 监督学习 非监督学习 根据训练数据是否有标记，学习任务可以大致分为监督学习和非监督学习。分类和回归是前者，聚类是后者。 何为监督学习、非监督学习？：以西瓜集为例，好瓜坏瓜就是训练集中每一个样本的标记。训练算法过程中通过这个标记不断矫正算法的准确性，这就是监督学习（前面8章学的算法都是监督学习）。反之，训练过程中没有标记的就是非监督学习，比如聚类（就是最后学的k-分类）。 第一章主要是了解一下机器学习大致的东西，了解即可。 学习的种类很多，我们学习监督学习和非监督学习，而
机器学习（1）泛化误差上界的实现及分析
ProfSnail的博客
01-25 1583
本文在假设空间有限情况下的泛化误差上界分析，并给出了简要的C语言实现。
机器学习复习（下）
一只不想做程序员的程序猿的日常摸鱼分享
06-12 1636
经验误差指的是模型在训练数据集上的误差，而泛化误差则是模型在新数据上的误差。在训练过程中，我们通常会使用训练数据集来拟合模型，并通过经验误差来评估模型的拟合效果，希望能够得到一个具有较低经验误差的模型。但是，这并不一定意味着模型能够在新数据上表现得好，因为模型可能会出现过拟合的情况。/*过拟合指的是模型在训练集上表现非常好，但是在测试集上表现较差的情况。当模型过于关注训练集中的噪声或个别样本时，就容易导致模型出现过拟合的问题，这时模型的泛化能力就会受到影响，泛化误差就会变大。
“西瓜书核心知识点”---第二章：模型评估与选择
多敲代码！
01-23 2268
1.错误率(error rate)： 分类错误的样本占样本总数的比例， 精度=1-错误率。 误差：学习器的实际预测输出与样本真是输出之间的差异。 训练误差or经验误差：学习器在训练集上的误差。 泛化误差：学习器在新样本上的误差。泛化误差越小越好。学的“太好了”（将训练样本本身的特点当成所有样本都会有的一般性质）就会导致泛化能力下降，即“过拟合”。“欠拟合”：对训练样本的一般性质尚未学好。 2.评估泛化误差：使用“测试集”来测试学习器对新样本的判别能力，得到“测试误差”即近似为“泛化误差”。 注意：测试集样
【机器学习】—— 模型评估那点“小事儿”
m0_46568930的博客
11-30 476
训练误差和泛化误差 把学习器的实际预测输出与样本真实输出值之间的差异称为“误差”。 训练误差：学习器在训练数据上的误差，可做为模型调参的依据。 泛化误差：学习器在新样本上的误差，反映了学习器对未知数据的预测能力。将学习器对未知数据的预测能力称为泛化能力，泛化误差越小，泛化能力越强，越是符合我们的期望。 过拟合与欠拟合 过拟合：学习器对已知数据学习的太好了，以至于把训练样本特有的一些性质当作了所有样本都具有的性质，即：模型的复杂度高于实际“真模型”，在已知数据上表现很好，在未知数据上表现很差。 欠拟合：学习.
机器学习中的泛化误差
爱听许嵩歌的博客
04-06 2443
机器学习中的泛化误差
机器学习：算法中的泛化误差、偏差、方差、噪声的理解（超详细）
大柳的博客
08-04 1万+
摘要：在现实任务中，我们往往有多种学习算法可供选择，甚至对同一个学习算法，当使用不同的参数配置时，也会产生不同的模型，那么，我们该如何选用哪一个学习算法，使用哪一种参数配置呢？这就是机器学习中的“模型选择”问题，理想的解决方案是对候选模型的泛化误差进行评估，然后选择泛化误差最小的那个模型。 泛化误差意义 以前在机器学习中一直使用经验风险（训练误差）来逼近真实风险，但事实上多数情况经验风险并不能够准确逼近真实风险。后来业界就提出了泛化误差的概念（generalization error）,在机器学习.
李航老师《统计学习方法》第2版课件全套.rar
03-10
李航老师《统计学习方法》第2版课件全套.rar
2012李航统计学习方法带目录
01-09
2012李航统计学习方法带目录
1.6 泛化能力，生成模型，判别模型
qq_40787900的博客
08-23 655
泛化误差
【李航统计学习】学习笔记第一篇第一章：统计学习及监督学习概论
jql20182107的博客
07-28 521
贝叶斯学习（Bayesianlearning）的主要想法是在概率模型的学习和推理中，利用贝叶斯定理，计算在给定数据条件下模型的条件概率，即后验概率，并应用这个原理进行模型的估计，以及对数据的预测。过拟合是指学习时选择的模型所包含的参数过多，以至出现这一模型对已知数据预测的很好，但对未知数据预测的很差的现象。特征空间每个具体的实例是一个实例（instance），通常由特征向量（featurevector）表示，这时，所有特征向量存在的空间称为特征空间（featurespace）。......
经验误差与泛化误差、偏差与方差、欠拟合与过拟合、交叉验证
热门推荐
zhihua_oba的博客
12-01 1万+
经验误差与泛化误差、偏差与方差、欠拟合与过拟合、交叉验证 主要内容 经验误差与泛化误差 偏差与方差 欠拟合与过拟合 交叉验证 一、经验误差（训练误差）与泛化误差   经验误差（训练误差）：模型在训练集上的误差称为“经验误差”（empirical error）或者“训练误差”“training error”。   泛化误差：模型在新样本集（测试集）上的误差称为“泛化误差”（generalizat
泛化误差、bars、variance
田问渠Carlnait的博客
09-06 712
泛化误差 =  偏差的平方 +  方差  +  噪声 偏差度量了真实数据与预测数据的偏离程度，刻画了学习算法本身的拟合能力 方差度量了同样大小的训练集的变动所导致的学习性能的变化，刻画了数据扰动所带来的影响； 噪声表达了当前任务下任何学习算法所能达到的期望泛化下界，刻画了问题本身的难度  ...
手推公式：泛化误差上界
Xurui_Luo的博客
03-02 375
介绍 本文详细推导了《统计学习方法》第一章中，泛化误差上界的不等式。其中利用到了《离散数学》、《概率论》等的知识 推导的详细过程 可能字迹不够工整，如果有问题可以发评论 ...
模型过拟合及模型泛化误差评估
Yancy的博客
11-26 9321
今天我们来深入探讨过拟合的一些高阶知识。 对于分类模型，我们总希望它是有低的训练误差和低的泛化误差。那么过拟合的产生机理中有哪些有意思的东西？在建立一个分类模型的过程中我们暂时对检验数据集一无所知（也就是暂时得不到真正泛化误差），那么此时我们是如何估计泛化误差的？ 我们的目录： 目录 一、过拟合产生原因 二、过拟合与多重比较过程 三、泛化误差估计 一、过拟合产生原因 噪声导致过拟合...
机器学习鸢尾花各种模型准确率对比
最新发布
weixin_45079974的博客
04-19 119
鸢尾花各种模型准确率比较
统计学习方法李航第二版
07-27
很抱歉，我无法回答关于《统计学习方法》李航第二版的问题。因为在提供的引用内容中没有提到《统计学习方法》李航第二版的相关信息。请提供更多相关的引用内容，我将尽力为您提供答案。 #### 引用[.reference_title] - *1* [李航老师《统计学习方法》第二版第三章课后题答案](https://blog.csdn.net/qq_41626059/article/details/115550572)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [《统计学习方法（第2版）》李航 第14章 聚类方法 思维导图笔记 及 课后习题答案（步骤详细） k-均值 层次...](https://blog.csdn.net/qq_26928055/article/details/124563123)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [李航老师《统计学习方法》第二版第十一章课后习题答案](https://blog.csdn.net/qq_41626059/article/details/108926411)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值