Radermacher Complexity

最新推荐文章于 2021-11-11 07:45:36 发布
最新推荐文章于 2021-11-11 07:45:36 发布
阅读量1.1k 收藏 3
点赞数
分类专栏： 机器学习 文章标签： 机器学习理论 不等式证明 PAC学习理论 Radermache
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/skyonefly/article/details/78668564
版权

本文主要从理解方面入手以及各个公式之间的关系，没有证明（因为证明看了我也会忘。。）
简要概念
1. Radermacher Complexity：样本复杂性与无穷集合的可学习性之间的关系. 值：在一个函数集合中,所有函数与random noise相关性的最大值。
2. Growth function: Random Complexity 的求法是NP-hard，所以我们用Growth function 来近似他的上届。值：在一个样本集合S中，有m个样本， 这m个样本被H集合中的不同函数进行分类的所有不同方式
3. VC dimension:在样本集合S中，可以被H集合中不同函数分开的最大样本数，或者 有多少样本可以被H集合中的函数打散(所有样本各种标签组合H里的函数都可以正确分类)。对于一个样本 S 集合,函数 H 若所有样本都可以被打散。由于每个样本有两中选择 0

最低0.47元/天 解锁文章
亓了个葩
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Alias:时间复杂度O(1)的离散采样方法
浅梦的学习笔记
01-14 1570
【Alias】时间复杂度O(1)的离散事件抽样方法 最近在看graph embedding的一些东西，发现像deepwalk,node2vec在采样节点路径以及line中采样边的时候都用到了Alias方法。这里简单总结一下 问题定义 给定一个离散型随机变量的概率分布规律P(X=i)=piP(X=i)=p_iP(X=i)=pi​,i∈1,...Ni\in{1,...N}i∈1,...N，希望设计一个...
Rademacher Complexity
mingo_敏
03-03 884
拉德马赫复杂度(Rademacher Complexity)是一种刻画假设空间复杂度的途径，与VC不同的是它在一定程度上考虑了数据分布。
[FML]学习笔记三 Rademacher Complexity
09-29 752
该章节证明用到的不等式：Hoeffding不等式，McDiarmid不等式以及jensen不等式 Hoeffding's: McDiarmid不等式是Hoeffding不等式的一个推广,用f(S)代替了和函数Sm，用ci代替了(bi-ai): Jensen’s inequality: If x is a random variable and φ is a convex ...
Rademacher complexity
pearl30的博客
07-09 7152
部分参考 CMU 机器学习理论 课程讲义Rademacher分布，Rademacher变量n个样本，采用n个σi\sigma_i构成向量σ\sigma.其中Rademacher变量σi\sigma_i i.d.d. 采样于Rademacher分布：P(σi=1)=12,P(σi=−1)=12P(\sigma_i=1)=\frac{1}{2}, P(\sigma_i=-1)=\frac{1}{2}.向
Rademacher复杂度极简例子
minfanphd的博客
07-14 1154
Rademacher复杂度极简例子动机例子分析 （警告：本人为初学者，不保证本贴的正确性. 如有异议请留言, 感激不尽!） 动机 随机噪音对模型的影响. 所谓随机噪音，就是把正例、负例进行随机的改变. 例子 图1. 样本与模型示意图 如图1所示: X=[0,1]\mathcal{X} = [0, 1]X=[0,1]. Y={−1,+1}\mathcal{Y} = \{-1, +1\}Y={−1,+1} 对应于两个决策类, 分别用三角型(负例)和圆圈(正例)标注. 3个数据点: 0.03,3.5,6.00.
机器学习：Rademacher复杂度
燕双嘤
11-11 3307
1，记号 样例集：独立同分布样本, 仅考虑二分类问题。 泛化误差和经验误差：设为从到的一个映射。 泛化误差：分类器的期望误差，模型在新样本集（测试集）上的误差。 含义：在测试集（可以是整个集合）中任取一个则的概率或期望（因为当值取1或0时，期望=概率）， 经验误差（经验误差期望）：分类器在给定样例集上的平均误差，模型在训练集上的误差。 其中表示满足则输出1，否则输出0。 含义：训练集 上所有的数据数/训练集样本数，不能写为概率的原因是，给定...
对抗网络matlab代码-LTI:V1方向调整的循环模型
06-02
Radermacher, A., & De Weerd, P. (2020)。 干扰记忆而不抹去它的踪迹。 神经网络，121、339-355。 抽象的 先前的研究表明，新手技能的表现很容易受到其他技能的后续训练的干扰。 我们解决了广泛训练的技能是否表现...
论文研究-FKA算法迭代收敛性分析.pdf
09-13
《核选择和非线性特征提取的双线性分析》一文提出了一种新颖的核Fisher准则FKC, 并用迭代分析算法FKA求得最优解，但其迭代...从理论上对FKA算法的迭代收敛性进行了分析和探讨，并运用Radermacher复杂性分析法进行证明。
机器学习数学原理（8）——霍夫丁不等式
Άγνωστο.Z
06-22 4万+
机器学习数学原理（8）——霍夫丁不等式这一篇博文主要是为后面的介绍学习理论（Learning Theory）的博文做铺垫。在学习理论中将会使用到霍夫丁不等式作为其引论之一。当然也可以选择直接接受引论从而跳过这一篇的推导，读者可以根据自己的需求来选择。需要说明的是，该篇博文直接选择翻译英文的文章，如果读者更喜欢原版（显然原版会更加准确，毕竟笔者的英语水平还是有点烂的），这里笔者也给出了资源的链接：ht
Foundations of Machine Learning 2nd——第三章（一）拉德马赫复杂度
qq_43631376的博客
10-04 1852
Fundations of Machine Learning 2nd——第三章（一）拉德马赫复杂度和VC维度回顾第二章拉德马赫复杂度定义1 经验拉德马赫复杂度（Empirical Rademacher complexity）定义2 拉德马赫复杂度定理1引理1定理2 拉德马赫复杂度边界——二分类总结 回顾第二章 我们在设计算法的时候肯定要考虑他的可行性以及需要多少训练样本才能返回一个比较准确的从输入到输出的映射。第二章就介绍了一个这样的框架——PAC框架，它能够帮助我们确定模型的可行性和训练样本的大小，以及g
文本处理—LSA、 LDA
Shingle_的博客
08-27 3025
几个流行的VSM算法： Term Frequency * Inverse Document Frequency, Tf-Idf from gensim import corpora, models, similarities dictionary = corpora.Dictionary(texts) corpus = [dictionary.doc2bow(text) for te...
机器学习中的数学（下）
bwqiang的博客
06-02 1794
4、机器学习中的不等式   上篇博文《机器学习中的数学（中）》讲述了机器学习中的概率论的问题，这篇博文主要阐述一些机器学习中常用的不等式。   由于每个不等式的证明均比较复杂，所以本博文暂不给出证明过程。学会利用不等式即可。 4.1 霍夫丁不等式（Hoeffding’s inequality） 定义4.1：霍夫丁不等式（Hoeffding’s inequality） ...
话题模型（topic model）的提出及发展历史
热门推荐
Xianling Mao的专栏
12-16 5万+
topic model 是一种应用十分广泛的产生式模型(generative model)，在IR， NLP，ML都有广泛的应用，本文将对目前已有的topic model进行分类总结，然后选择几个代表性的topic model进行较为详细的介绍，从而理解topic model 的思想，以及怎么应用。 topic model最经典的模型之一是LDA（latent dirichlet alloc
Foundation of Machine Learning 笔记第五部分 (2) —— Rademacher Complexity 和 VC 维
点点滴滴
03-20 3341
《Foundation of Machine Learning》笔记第四部分 翻译自书本3.1节。同时增加了对假设集不一致情况的PAC证明
【最佳论文】KDD最佳论文 2006-
Robin_S
01-12 918
自2006年以来计算机会议最佳论文一览：http://jeffhuang.com/best_paper_awards.html KDD KDD (Data Mining) 2016 FRAUDAR: Bounding Graph Fraud in the Face of Camouflage Bryan Hooi,
UA MATH567 高维统计I 概率不等式12 McDiarmid不等式
一个不愿透露姓名的博客
12-22 2367
UA MATH567 高维统计I 概率不等式12 McDiarmid不等式 这一讲我们介绍基于Lipschitz性导出概率不等式的思路，这个思路在下一讲正式进入随机向量之后应用非常广泛。但这一讲我们先不正式引入Lipschitz函数的概念，我们介绍一个与之相关的概念，随机变量序列的Lipschitz组合(Lipschitz combinations)。 Lipschitz组合 假设X1,⋯ ,XnX_1,\cdots,X_nX1​,⋯,Xn​是一列独立的，值域分别为R1,⋯ ,RnR_1,\cdots,R_
Bandit UCB推导
AugustMoore的博客
01-22 1783
推导Reinforcement Learning Richard S.Sutton and Andrew G. Barto 第二章Bandit算法中的Upper-Confidence-Bound Action Selection. 预备知识 Markov Inequality 对于任意r.v. (random variable) X and constant a > 0, Prf...
“chaos”的算法--之归并排序
weixin_34122810的博客
08-12 124
【 声明：版权所有，欢迎转载。 联系信箱：yiluohuanghun@gmail.com】 归并排序（Merge sort）的基本思想是合并两个有序表，设有两个有序（升序）序列存储在同一数组中相邻的位置上，不妨设为A[l..m]，A[m+1..h]，将它们归并为一个有序数列，并存储在A[l..h]。 归并排序的时...
泛化误差上界的证明【内含霍夫丁不等式（Hoeffding‘s Inequality）的证明】
qq_43872529的博客
02-18 5336
本篇博客旨在补充李航老师在《统计学习方法》第一章中关于Hoeffding’s Inequality的证明，明白了它 的由来才能对泛化误差上界有更深刻的认识。 先导内容 1、 泛化能力（generalization ability）： 学习方法学习到的模型对未知数据的预测能力。 2、 泛化误差（generalization error）： 用学习到的模型对未知数据进行预测的误差，定义如下：（假设学...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值