机器学习（西瓜书）注解：第12章 计算学习理论

最新推荐文章于 2022-04-21 14:25:56 发布
最新推荐文章于 2022-04-21 14:25:56 发布
阅读量1.3k 收藏 3
点赞数 4
分类专栏： 机器学习(Machine Learning)
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jbb0523/article/details/101227150
版权

机器学习（西瓜书）注解：第12章 计算学习理论

        本次更新第12章，计算学习理论。针对该章注解有任何问题欢迎在此留言~

        相信本章是很多读者望而却步的一章，相信本章是很多以本书为教材的老师在讲课时会直接跳过的一章，相信本章是很多资深机器学习研究者都不予理睬的一章……

        但既然已经入了机器学习这个坑，总感觉如果不去了解一点儿有关本章的内容，少点什么似的……

        本章前两节介绍概念，12.3节讨论有限假设空间的泛化误差界；但现实学习任务所面临的通常是无限假设空间，因此12.4节基于VC维讨论无限假设空间的泛化误差界；但基于VC维的泛化误差界是分布无关、数据独立的，因此12.5节继续基于Rademacher复杂度讨论泛化误差界；但无论是基于VC维还是Rademacher复杂度的泛化误差界，所得到的结果均与具体学习算法无关，因此12.6节继续基于稳定性(stability)讨论泛化误差界。

        本章很多内容参考了[Mohri et al., 2012]，可以使用bing或google搜索该书的PDF版；该书2018年已出第2版，官网https://cs.nyu.edu/~mohri/mlbook/即可下载；该书第1版已有中译版，参见[张文生 等译. 机器学习基础. 机械工业出版社，2019.]。

        本章不但理论抽象，公式也很多，注解中可能存在很多错误，欢迎留言交流~

（网盘链接：https://pan.baidu.com/s/1QtEiNnk8jMzmbs0KPBN-_w） 

 

第 12 章目录
第 12 章 计算学习理论...................................................................................................................1
       12.1 基础知识..........................................................................................................................1
               1、式(12.1)的解释...........................................................................................................1
               2、式(12.2)的解释...........................................................................................................1
               3、式(12.3)的解释...........................................................................................................1
               4、 Jensen 不等式的解释 .................................................................................................1
               5、 Hoeffding 不等式的解释 ...........................................................................................2
               6、 McDiarmid 不等式的解释 .........................................................................................3
       12.2 PAC 学习 ..........................................................................................................................3
       12.3 有限假设空间..................................................................................................................4
               1、式(12.10)的解释 .........................................................................................................4
               2、式(12.11)的解释 .........................................................................................................4
               3、式(12.12)的推导 .........................................................................................................4
               4、式(12.13)的解释 .........................................................................................................5
               5、式(12.14)的推导 .........................................................................................................5
               6、引理 12.1 的解释........................................................................................................5
               7、式(12.18)的推导 .........................................................................................................5
               8、定理 12.1 的推导........................................................................................................6
               9、定义 12.5 的解释........................................................................................................7
       12.4 VC 维 ................................................................................................................................7
               1、式(12.21)的解释.........................................................................................................7
               2、定理 12.2 的解释........................................................................................................7
               3、式(12.23)的解释 .........................................................................................................8
               4、引理 12.2 证明的解释................................................................................................8
               5、推论 12.2 证明的解释..............................................................................................10
               6、定理 12.3 证明的解释..............................................................................................11
               7、定理 12.4 证明的解释[?] .........................................................................................11
       12.5 Rademacher 复杂度........................................................................................................12
               1、式(12.36)的解释.......................................................................................................13
               2、式(12.37)的解释.......................................................................................................13
               3、式(12.38)的解释.......................................................................................................13
               4、式(12.39)的解释.......................................................................................................14
               5、定义 12.8 的解释......................................................................................................15
               6、定义 12.9 的解释......................................................................................................15
               7、定理 12.5 的解释......................................................................................................15
               8、定理 12.5 的证明[?] .................................................................................................15
               9、定理 12.6 的解释......................................................................................................18
               10、定理 12.6 的证明....................................................................................................18
               11、定理 12.7 的证明....................................................................................................18
               12、式(12.53)的推导 .....................................................................................................20
       12.6 稳定性............................................................................................................................20
               1、泛化/经验/留一损失的解释.....................................................................................20
               2、定义 12.10 的解释....................................................................................................20
               3、定理 12.8 的解释......................................................................................................20
               4、经验损失最小化.......................................................................................................21
               5、定理 12.9 的证明的解释[?] .....................................................................................21
       12.7 本章小节........................................................................................................................22

jbb0523
关注
  • 4
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
第十二章计算学习理论
weixin_41940752的博客
07-25 206
1. 基础知识 训练误差与经验误差：学习器在训练集上的误差成为“训练误差”或“经验误差”。在新样本上的误差称为“泛化误差”。 根据大数定律，经验误差会收敛于泛化误差，两者（在一定容忍下）相近是由hoeffding不等式作为理论保证的，两者相差过大说明模型的欠拟合或者过拟合，而学习的一致收敛性说的正是这一特性：当训练集足够大，两者的结果就会足够相近。 若 h 在数据集 D 上的经验误差为 0，则称...
【机器学习/西瓜书】习题集合（含答案以及解析）
03-04
内容概要：机器学习的习题（非西瓜书课后例题），主要包含一些常见常考的选择题和填空题，适用于机器学习课程的闭卷考试。 适用人群：大学生 使用场景：期末考试前
机器学习理论 | 周志华西瓜书 第十二章：计算学习理论
Tinky2013的博客
04-03 1011
第十二章 计算学习理论 此系列文章旨在提炼周志华《机器学习》的核心要点，不断完善中… 12.1 基础知识 1、概述 目的：分析学习任务的困难本质，为学习算法提供理论保证） 2、一些定义 令h为从X到Y的映射，h的泛化误差：E(h;D)=Px∼D(h(x)≠y)E(h;\mathcal{D})=P_{\bm x\sim\mathcal{D}}(h(\bm x)≠y)E(h;D)=Px∼D​(h(...
第十二章 计算学习理论
steph_curry的博客
01-28 452
12.1 基础知识 泛化误差 经验误差 12.2 PAC学习(PAC：概率近似正确） 概念c  概念类C 假设空间H,若目标概念c属于H,则H中存在假设能将所有示例按与真实标记一致的方向完全分开，称该问题对算法A是可分的；若c不属于H，则H中不存在能将所有示例完全正确划分开的假设，称该问题对学习算法A是不可分的。       12.3 有限假设空间
第12章 计算学习理论
williananjhon的博客
07-16 503
第12章 计算学习理论 12.1 基础知识 计算机学习理论(computational learning theory)研究通过计算来进行学习的理论，即关于机器学习的理论基础，其目的是分析学习任务的困难本质。 给定样例集D={(x1,y1),(x2,y2),…,(xm,ym)},xi∈X,yi∈Y={−1,+1}D = \left\{ \left( x_{1},y_{1} \right),\lef...
《机器学习》（西瓜书）第12章 计算学习理论理解记录
weixin_43749999的博客
09-22 511
12.1 基础知识 计算学习理论研究的是：通过计算来进行学习的理论。 目的是：为学习任务分析困难本质，为学习算法提供理论保证并根据分析结果指导算法设计。 给定样例集D = {(x1,y1),(x2,y2),(...)}，xi属于X，本章基于二分类问题讨论。其中的yi属于(0,1)。假设X中的所有样本服从一个隐含未知的分布D，D中所有样本都是独立地从这个分布上采样得到的，即独立同分布样本. 令h是从X到Y的一个映射,其泛化误差为: E(h;D) = Px ~ D (h(x) != y); 此外
西瓜书机器学习的学习笔记（十分详细）
06-10
学习了机器学习的基础以及相关理论，颇有收获，并做了相关笔记，对于机器学习有了更为深入的理解，为以后的学习以及研究打下基础。 主要内容包含以下相关主题： - 模型的评估与选择 - 神经网络 - 支持向量机 - ...
西瓜书机器学习第一章至第九章课后练习作业
最新发布
04-13
西瓜书机器学习第一章至第九章课后练习作业
机器学习西瓜书习题代码部分实现
01-07
机器学习西瓜书习题代码部分实现
机器学习入门-西瓜书总结笔记第十二章
weixin_45867990的博客
04-21 1282
西瓜书第十二章-计算学习理论一、基础知识二、PAC学习三、有限假设空间1.可分情形 一、基础知识 计算学习理论（computational learning theory） 研究的是关于通过“计算”来进行“学习”的理论，即关于机器学习的理论基础，其目的是分析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法设计。 给定样例集D={(x1,y1),(x2,y2),⋯ ,(xm,ym),},xi∈XD = \{(\pmb x_1,y_1),(\pmb x_2,y_2),\cdots,(\pm
机器学习（西瓜书）注解：第13章 半监督学习
彬彬有礼的专栏
10-21 1457
机器学习（西瓜书）注解：第13章 半监督学习         本次更新第13章，半监督学习。针对该章注解有任何问题欢迎在此留言~         监督学习和无监督学习是机器学习的两个学习范型(paradigm)。对于监督学习来说，要求训练样本具有标记信息；而对于无监督学习来说，则不需要训练样本具有标记信息。若在监督学习中没有足够的有标记样本，而是具有大量的无标记样本（在现实世界中正是如此，详见...
Task11第12章 计算学习理论
yanyiting666的博客
08-10 893
1. 章节主要内容 机器学习理论（computational learning theory）研究的是关于通过“计算”来进行“学习”的理论，即关于机器学习的理论基础，其目的是分析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法设计。 这章内容相对比较抽象，它关注的更多是算法能产生的数据与结果之间的映射与实际映射的贴近程度和稳定程度，而不是具体的算法的优劣。这是一个在更高层面审...
周志华 《机器学习》之 第十二章（计算学习理论）概念总结
不系之舟的专栏-QQ讨论群331590339
08-30 1728
看到12章，题目叫计算学习理论，当时一萌，这是干什么用的呢？前面的章节中基本都是讲述了一些机器学习的一些常用方法。看到这个标题我的第一反应应该是理论方面的研究，那是否对计算与学习这两方面的理论研究呢？既然是理论的东西，我想对于一般应用机器学习算法的来说，可能意义不大吧！但是我个人认为有可能也可以指导我们进行算法设计。周老师数据对计算学习理论这么描述的，（是关于机器学习的理论基础，其目的是分析学习任务
机器学习西瓜书（周志华）学习笔记（1）-绪论
wynlnlhhjy的博客
08-03 1174
 基本术语 数据集（data set）：一组记录的集合。例如：（色泽=青绿；根蒂=稍蜷；敲声=沉闷）。 样本（sample）：数据集中的每条记录，它是关于一个事件或对象的描述。又称示例（instance）。例如：色泽=青绿。 属性（attribute）：反映事件或对象在某方面的表现或性质的事项。又称特征（feature）。例如色泽。 属性值（attribute value）：属性上的取值。...
西瓜书课后题——第十二章（计算学习理论）
qq_37691909的博客
05-21 739
本章涉及的数学理论知识太多，大多是纯理论的公式推导，所以目前只是大体看了一遍，了解了一些基本的概念和知识，并没有深入地对每一个定理进行证明和推导。所以课后题参考这篇博客：https://blog.csdn.net/icefire_tyh/article/details/52270432 日后有机会要用到的话会重新回过头来进行推导学习。 ...
《西瓜书》-12.计算学习理论
ruoqi23的博客
07-31 259
12.计算学习理论 这章主要是为了和西瓜书的章节保持同步，主要是思想层面的内容，没有实质性的算法，可以参考西瓜书学习 计算机学习理论研究的是关于通过计算来进行学习的理论，即关于机器学习的理论基础。 其目的是分析学习任务的困难本质，为学习算法提供理论保证。例如：在什么条件下可进行有效的学习，需要多少训练样本才能获得较好的精度等。 概念介绍 泛化误差与经验误差 经验误差：学习器在某个特定的数据集D上的预测误差 泛化误差：学习器在总体上的预测误差 独立同分布：每个样本都是从总体分布中独立采样得到
基于Rademacher复杂度的泛化误差界
weixin_39450145的博客
02-10 591
基于Rademacher复杂度的泛化误差界 待定。
机器学习：Rademacher复杂度
燕双嘤
11-11 3358
1，记号 样例集：独立同分布样本, 仅考虑二分类问题。 泛化误差和经验误差：设为从到的一个映射。 泛化误差：分类器的期望误差，模型在新样本集（测试集）上的误差。 含义：在测试集（可以是整个集合）中任取一个则的概率或期望（因为当值取1或0时，期望=概率）， 经验误差（经验误差期望）：分类器在给定样例集上的平均误差，模型在训练集上的误差。 其中表示满足则输出1，否则输出0。 含义：训练集 上所有的数据数/训练集样本数，不能写为概率的原因是，给定...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值