《learning from data》读书笔记---第二章: Training versus Testing

最新推荐文章于 2021-06-15 22:27:02 发布
最新推荐文章于 2021-06-15 22:27:02 发布
阅读量490 收藏 2
点赞数 3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaodidadada/article/details/94738374
版权
本文是《learning from data》第二章的学习笔记，主要探讨了模型的泛化能力与训练性能之间的关系，包括理论泛化、有效假设数量、VC维数、泛化误差边界、样本复杂度和模型复杂度的权衡。通过分析，揭示了在训练和测试中如何平衡模型的复杂度以达到更好的泛化效果。
摘要由CSDN通过智能技术生成

chapter2 Training versus Testing 

学习资料与考试题目区别

2.1 Theory of Generalization 

Eout反映了模型的泛化能力，即模型对未知数据的预测能力

Ein反映了在已知训练集的训练的成效（ training performance）

Generalization error

    

定义a tolerance level  δ = ,得到ε = 

如果δ很小,那么就有很大的概率,即  Ein - ε≤ Eout  ≤ Ein + ε,对于不等式左边告诉我们要选择最好的h,h∈H来作为g,因为如果Ein很大,Eout也不会很小;不等式右边在M有限时能保证Eout  ≈ Ein,但在实际生产中M一般是无限的,不能保证Eout  ≈ Ein.

解决办法:需要用将无限的M换成有限的

之前不等式中M的的缩放:,将所有的时间看作独立事件,但实际上,这些事件可能由重叠,在一个典型的模型中,很多的假设都是很相似的(very similar)

2.1.1 Effective Number of Hypotheses 

growth function:有效假设的个数( the effective number of hypotheses),用来替代无限的M

以 binary target functions 为例:

 对于有限的数据x1, ... ,xN 属于X(无限),有假设h ,h∈H 我们可以得到一个N元组  h(x1), ... ,h(xN) (值为±1). 这样一个元组被称为dichotomy,因为它把 x1, · · · , XN 分成了两组,一组中点的函数值为-1,另一组为+1.每一个h都能在 x1, · · · , XN 上产生一个dichotomy ,但是两个不同的h可能产生相同的dichotomy if they happen to give the same pattern of ±1 's on this particular sample. 

mH ( N):是H集合中所有假设函数能在N个数据点上产生的最多的 dichotomies的数量.binary target functions 的If 如果H在x1, · · · , XN上能产生所有可能的dichotomies,我们就说H可以shatter x1, · · · , XN,这表明H is as diverse as can be on this particular sample. 

具体mH ( N)的值求解例子: 如果H is a 2-d perceptron,mH ( 3) = 8.图a中的三个点无法被shatter,但是图b中的三个点可以被shatter,产生8个 dichotomies,因为mH( N) 的定义是能产生dichotomies的最大值,所以mH(3) = 8 .对于图c中的4个点,可以证明无法被shatter,所有可能的16个dichotomies 中只能产生14个dichotomies,图c中的2个dichotomies 是无法产生的,因此mH(4) = 14.

 当然我们可能求解出所有假设集合的mH ( N)的值,因为mH(N) 本身是为了替代M,所以我们可以不求出mH(N)具体的值,而是用mH(N)的upper bound来进一步替代M.

break point for H: If k is a break point, then mH(k) < 2^k. 

最低0.47元/天 解锁文章
xiaodidadada
关注
台湾大学林轩田《机器学习基石》学习笔记第5讲——Training versus Testing
Stoneeeee的博客
09-08 387
一、Recap and Preview 我们先来看一下基于统计学的机器学习流程图： 该流程图中，训练样本D和最终测试h的样本都是来自同一个数据分布，这是机器能够学习的前提； 另外，训练样本D应该足够大，且hypothesis set的个数是有限的，这样根据霍夫丁不等式，才不会出现BadData，保证Ein≈Eout，即有很好的泛化能力； 同时，通过训练，得到使Ein最小的h，作为模型最终...
Learning Active Learning from Data
12-17
Learning Active Learning from Data NIPS2017会议文章
机器学习演算法 第五讲 Training versus Testing——学习笔记
miss_snow_m的专栏
03-26 512
将Machine Learning拆成了两个问题，1.Ein和Eout是不是一样 2.Ein会不会很小 Recap and Preview Recap: the 'Statistical' Learning Flow if H = M finite, N large enough, for whatever g picked up by A, Eout = Ein if A finds
机器学习基石 - Training versus Testing
Sunlight的博客
03-22 226
机器学习基石上 (Machine Learning Foundations)—Mathematical Foundations Hsuan-Tien Lin, 林轩田，副教授 (Associate Professor)，资讯工程学系 (Computer Science and Information Engineering) Training versus Testing ...
机器学习基石第五讲：training versus testing
Marcovaldong的博客
04-22 5223
博客已经迁移至Marovaldo’s blog (http://marcovaldong.github.io/)机器学习基石第五讲继续讨论“学习是否可行”这一问题，这一讲比较难，建议大家多看两遍。Recap and Preview前面的课程得出了这样一个结论：在训练数据集足够大，H中包含的hypothesis个数有限的前提下，我们可以证明每一个hypothesis的EinE_{in}和EoutE_{
Learning Active Learning from Data 主动学习笔记
qq_36317312的博客
06-15 1104
这是2017在NIPS上发表的一篇文章：Learning Active Learning from Data Abstract 提出一种新的数据驱动的主动学习的方法 关键思想：训练一个回归器，预测候选样本在特定学习状态下的预期误差减少。
林轩田《机器学习基石》课程笔记5 -- Training versus Testing1
08-03
在《机器学习基石》课程笔记5中，作者探讨了机器学习中的核心问题——Training与Testing，以及它们在无限Hypothesis Set情况下的可行性。首先，机器学习的目标是找到最佳的函数g，使得训练误差（training error）尽...
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
You Only Look Once: Unified, Real-Time Object Detection阅读笔记
Christine__xu的博客
03-21 861
疫情原因，学校新开设了一门文献阅读。唉，现在只好读一篇记录一点，最后还要写一万五千字的文献综述，绝望啊。 今天的论文是 ：You Only Look Once: Unified, Real-Time Object Detection 全文和翻译： Abstract We present YOLO, a new approach to object detection. Prior work...
《Learning From Data》第一章（二）读书笔记
哇哦，小菜鸟
11-05 2235
1.3 Is learning feasible 学习可行性：目标函数f是机器学习的最终目的，由于它是未知的，如何在提供的有限信息中确定目标函数呢？ 在学习过程中，目标函数f通过数据集合D学习得到，对于训练数据之外的事件不能保证预测结果，这样的过程只能说是在记忆，而不是学习，也就是说真正的学习过程就是在数据中学习且能预测未知事件结果。（书中举了一个例子大家可以学习下，理解上述过
主动学习-综述
u013328485的专栏
07-16 5282
主动学习是机器学习（更普遍的说是人工智能）的一个子领域，在统计学领域也叫查询学习、最优实验设计”(Active learning (sometimes called “query learning” or “optimal experimental design” in the statistics literature) is a subfield of machine learning and...
Active Learning 原理
coder_oyang的博客
11-24 2118
通过 Active Learning 方式挑选需标注样本
台大机器学习基石笔记（三）——VC 维2
楼桑
07-08 1227
台大机器学习基石笔记（三）——VC 维2
Learning from Data-A short course 我的中文翻译及练习题解答还有生物信息的实际应用1
高端的博客
09-22 1515
Learning from Data-A short course 我的中文翻译及练习题解答还有生物信息的实际应用1前言本书目录 我的中文翻译及练习题解答还有生物信息的实际应用1) 前言 本书是为了给机器学习的精短课程设计的，是精简的课程但不是急促的。从超过十年的使用本书教学的经验中，我们提炼了我们认为每个学生都应该知道的核心课题。我们选择了Learning from data这个可以诚挚的形容...
【Active Learning - 01】深入学习“主动学习”：如何显著地减少标注代价
Houchaoqun_XMU的博客
07-08 2万+
主动学习系列博文： 【Active Learning - 00】主动学习重要资源总结、分享（提供源码的论文、一些AL相关的研究者）：https://blog.csdn.net/Houchaoqun_XMU/article/details/85245714 【Active Learning - 01】深入学习“主动学习”：如何显著地减少标注代价：https://blog.csdn.net/Hou...
VC维的来龙去脉
weixin_34168880的博客
04-21 387
2019独角兽企业重金招聘Python工程师标准>>> ...
主动学习（active learning）
菜菜灰的博客
06-09 1万+
主动学习是机器学习（更普遍的说是人工智能）的一个子领域，在统计学领域也叫查询学习、最优实验设计。“学习模块”和“选择策略”是主动学习算法的2个基本且重要的模块。主动学习通过“选择策略”主动从未标注的样本集中挑选部分（1个或N个）样本让相关领域的专家进行标注；然后将标注过的样本增加到训练数据集给“学习模块”进行训练；当“学习模块”满足终止条件时即可结束程序，否则不断重复上述步骤获得更...
Low-Shot Learning from Imaginary Data论文简要解读
Evabook的博客
05-22 2470
Low-Shot Learning from Imaginary Data论文摘要论文要点end-to-end训练Learned HallucinationImplementation details最终效果疑问点 论文摘要 本文主要提出了通过生成模型生成虚拟数据来扩充样本的多样性，并结合当前比较先进的元学习方法，通过end-to-end 训练两生成模型和分类算法，从而实现更好的low-shot ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值