统计学习笔记第 1 部分：Hoeffding 的不等式推导与模拟

已于 2023-11-15 17:36:15 修改
阅读量3.2k 收藏
点赞数
分类专栏： 统计学习法 人工智能综合 文章标签： python 机器学习 人工智能
于 2023-11-07 10:22:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gongdiwudu/article/details/134261323
版权
本文深入介绍了霍夫丁不等式，从马尔可夫不等式和切比雪夫不等式出发，逐步推导到高斯随机变量的矩生成函数和亚高斯随机变量的概念。通过模拟验证了霍夫丁不等式在统计学习和机器学习中的应用，为理解和应用该不等式提供了清晰的路径。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

照片由

了解本专栏 订阅专栏 解锁全文
统计学习笔记 第 5 部分：破碎系数
gongdiwudu的专栏
11-07 2948
正如本系列之前的文章所述，统计学习理论为理解机器学习推理问题提供了一个概率框架。用数学术语来说，统计学习理论的基本目标可以表述为严格数学表述。
图像处理： 马赛克艺术
gongdiwudu的专栏
09-28 1万+
技术洞察力是马赛克创作和欣赏的关键，而艺术的技术方面需要特别强调。马赛克还具有重要的风格、宗教和文化方面，它在西方艺术中发挥了重要作用，并出现在其他文化中。
台大林轩田《机器学习基石》学习笔记：可行性（Hoeffding、Multi-binhoeffding、VC bound）
拖延癌患者自愈小记
04-18 4336
台大林轩田《机器学习基石》学习笔记：可行性（Hoeffding、Multi-binhoeffding、VC bound）
深度学习/机器学习入门基础数学知识整理（六）：Hoeffding不等式，
Bin 的专栏
08-26 5618
开写之前先推荐一个林轩田先生的书，《Learning From Data》，我从网上得到电子版资源放在这里获取，仅用于学习交流之用，不可用与商用，谢谢。网上还有配套的Slides，我虽然还未看过这本书，但是浏览了一下非常不错，mark一下，希望后面有时间可以静下心来学习一下。 直观理解 本章记录一下霍夫丁不等式 Hoeffding Inequality，以及占个位，以后其他类似的不等式...
Hoeffding不等式
honlangwu的博客
02-15 1454
引入 在上一小节”理解为什么机器可以学习——PAC学习模型”中，我们主要讨论了假设的错误率问题和如何说一个学习器是可学习的，并给出了PAC学习理论。这一小节，我们将沿着这个方向，讨论一下，有限假设空间的样本复杂度，并用Hoeffding不等式来界定概率边界。假设空间的样本复杂度 PAC可学习性很大程度上由所需的训练样本数量决定。随着问题规模的增长所带来的所需训练样本的增长称为学习问题的样本复杂度
Hoeffding不等式简介
分析101
06-14 1171
1 Hoeffding不等式 Hoeffding不等式是非常有用的一个不等式，在机器学习、统计学等领域，都发挥着巨大的作用。 它的思想与Markov不等式有些类似，我们先给出它的形式： Hoeffding不等式：Y1,…,YnY_1,\ldots,Y_nY1​,…,Yn​为独立观测，E(Yi)=0E(Y_i)=0E(Yi​)=0，ai≤Yi≤bia_i\leq Y_i\leq b_iai​≤Yi​≤bi​。对于ϵ>0\epsilon\gt 0ϵ>0，∀t>0\forall t \gt 0∀
机器学习推导合集01-霍夫丁不等式的推导 Hoeffding Inequality
热门推荐
liubai01的博客
04-17 2万+
1.0 引言 笔者第一次接触霍夫丁不等式（Hoeffding Inequality）是在林轩田先生的机器学习基石课程（还是在b站上看的hh）上。可以说，当时没有系统学过概率论与数理统计（probability and statistics）的我，对于不等式的推导是感到相当头疼。后来，我本科课程优化与机器学习课程引用了伦斯勒理工学院（RPI）的slide。乍看之下，发现竟与林轩田先生的课十分相似。...
机器学习笔记--Hoeffding霍夫丁不等式
weixin_30594001的博客
06-07 295
Hoeffding霍夫丁不等式 在<>第八章"集成学习"部分, 考虑二分类问题\(y \in \{-1, +1\}\) 和真实函数\(f\), 假定基分类器的错误率为\(\epsilon\), 即对每个基分类器\(h_{i}\)有 \[ \begin{equation} P(h_{i}(x) \neq f(x)) = \epsilon \end{equation} \] 假设集成通过简...
西瓜书学习笔记——第八章：集成学习
Andrewings
06-27 2408
8.集成学习8.1 个体与集成8.2 Boosting 8.1 个体与集成 8.2 Boosting Boosting工作机制如下图所示： 其中各个基学习器的对应权重由其误差计算确定，基学习器误差大的则对应的权重小，误差小的则对应权重大 ...
机器学习笔记之计算学习理论(一)样本均值与全样本期望
静静的学习就好
05-03 750
本节从计算学习理论(Computational Learning Theory)开始，介绍霍夫丁不等式的两个参数——样本均值和全样本期望。
【基础理论】介绍一个概率分布：柯西分布
gongdiwudu的专栏
09-19 1万+
连续概率密度函数究竟有多少，应该有无穷多。在诸多分布函数中，高斯分布可能是最著名的。然而，有没有类似于高斯函数的分布，而形式上不是指数函数的呢？回答是有，柯西分布就是一种。
【深度学习】训练时现Interal Error：Blas GEMM launch failed.
gongdiwudu的专栏
07-08 1万+
Tensorflow程序运行中出现"Interal Error：Blas GEMM launch failed."，此错误主要是由于程序运行时GPU的空间不足而引起的。故一般出现此错误的时候，会发现程序提示的GPU freeMemory 少。
在本地运行大型语言模型 (LLM) 的六种方法（2024 年 1 月）
最新发布
gongdiwudu的专栏
02-05 1万+
这篇文章被称为“本地运行大型语言模型 (LLM) 的五种方法”，于 2024 年 1 月更新了有关vLLM的内容。虽然 vLLM 于 2023 年 6 月发布，但它最近获得了更多关注。因此，我想将其添加到此列表中。
【pytorch环境】Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.错误解决方法
gongdiwudu的专栏
10-23 1万+
这是一个很典型的python包重复，冲突造成的错误。本案例表现为：在conda和pytorch下都存在libiomp5md.dll，因而出现二意性无法继续，本篇如实记录解决过程。
【数据挖掘】使用 LSTM 进行时间和序列预测
gongdiwudu的专栏
07-25 1万+
本文示例是一个典型的时间序列处理办法，可以当作经典来用。读者可以多花一些时间消化该案例；事实表明，用LSTM这种工具不仅可以处理NLP，而且可以针对任何的时间序列，比如股票预测。
机器学习：VC维的概念和用途
gongdiwudu的专栏
06-29 1万+
VC维是机器学习的重要概念，它给机器学习的“可学习性”提供了理论基础。然而，在网上的博客中，多数将VC维解释的复杂抽象，看后似是而非。本文意在用浅显易懂的手段，将VC维的基本概念交待清楚，然后，再在高层次上介绍其用途。...............
关于雅可比迭代的Python实现
gongdiwudu的专栏
12-15 1万+
​雅克比迭代法就是众多迭代法中比较早且较简单的一种，其命名也是为纪念普鲁士著名数学家雅可比。雅克比迭代法的计算公式简单，每迭代一次只需计算一次矩阵和向量的乘法，且计算过程中原始矩阵A始终不变，比较容易进行计算。 雅可比迭代是数字解法，然而该方法是有一定条件，如果不能正确地辨别这些条件是不可能得到正确解的，本文将针对这种算法的原理进行介绍，和程序实现。 (称为雅可比迭代矩阵） 二、程序实现
Halcon知识：【8】 将图像部分内容截取并保存
gongdiwudu的专栏
01-07 1万+
Halcon的基本概念是【图像，区域，轮廓线】，初学者务必要搞清三者区别和联系。以下介绍如何将一个图像的区域截取出来，保存成另外的图像。本文用来加强概念，并用以下案例去理解概念的用途。
【深度学习】受限玻尔兹曼机 （RBM） 初学者指南
gongdiwudu的专栏
07-08 1万+
受限玻尔兹曼机（Restricted Boltzmann Machine，RBM）是一种基于能量模型的人工神经网络。它只有一个隐层，将输入层和隐层中的每个神经元互相连接，但不同层的神经元之间没有连接。RBM是一种无向的概率图模型，可以用于特征提取、数据降维、协同过滤等任务。它是深度学习中的重要组成部分，可以用于训练多层神经网络如深度信念网络（DBN）和深度自编码器（DAE）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无水先生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值