周志华 《机器学习》之 第十二章(计算学习理论)概念总结

原创 2016年08月30日 10:28:13

看到12章,题目叫计算学习理论,当时一萌,这是干什么用的呢?前面的章节中基本都是讲述了一些机器学习的一些常用方法。看到这个标题我的第一反应应该是理论方面的研究,那是否对计算与学习这两方面的理论研究呢?既然是理论的东西,我想对于一般应用机器学习算法的来说,可能意义不大吧!但是我个人认为有可能也可以指导我们进行算法设计。周老师数据对计算学习理论这么描述的,(是关于机器学习的理论基础,其目的是分析学习任务的困难本质,为学习算法提供理论保证,并根据分析结果指导算法设计)

1、基础知识

独立同分布样本:
泛化误差:
h 为从XY的一个映射,其泛化误差为

E(h;D)=PxD(h(x)y)

hD上的经验误差为
E^(h;D)=1mi=1m(h(xiyi))

如果DD的独立同分布采样,因此h的经验误差的期望等于其泛化误差。
因此本章就主要研究经验误差与泛化误差之间的逼近程度。

2、PAC学习

概率近似正确(PCA)

3、有限假设空间

4、VC维

5、Rademacher复杂度

6、稳定性

周志华《Machine Learning》学习笔记(14)--计算学习理论

上篇主要介绍了常用的特征选择方法及稀疏学习。分别介绍了子集搜索与评价、过滤式、包裹式以及嵌入式四种类型的特征选择方法:子集搜索与评价是一种优中生优的贪婪算法;过滤式计算相关统计量来评判特征的重要程度;...

机器学习---计算学习理论

如果你不是数学系的,就不要看这个了。 因为以下内容全都在证明机器学习的方法是有效的,你可以用机器学习来得到你想要的结果。然而对于编程或者使用这个方法的人来说,你只要放心大胆地用就行了。就像你知道1+1...

机器学习(周志华) 参考答案 第十二章 计算理论学习

机器学习(周志华) 参考答案 第十二章 计算理论学习机器学习(周志华西瓜书) 参考答案 总目录 http://blog.csdn.net/icefire_tyh/article/details/520...

机器学习总结1_学习理论

学习理论主要想表达的东西想一下,在什么样的情况下,我们会想到机器学习。可能你在碰到这么一个问题时:你现在有很多有癌症和没有癌症的人的身体情况资料,然后让你判断一个人是否患有癌症。在你碰到这个问题的时候...

30分钟了解PAC学习理论——计算学习理论第一讲

 PAC理论是计算学习理论很重要的一部分,它解释了机器学习的学习机理。了解此理论可以更深入的了解机器学习,解释模型的泛化效果。如果深入研究更能帮助我们针对不同问题选择不同模型。  ...

机器学习笔记

本文转自http://www.cnblogs.com/tornadomeet/archive/2012/11/12/2766458.html 第1课  绪论课   机器学习中3个比不可...

周志华机器学习读后总结 第12、13章

计算学习理论 什么是计算学习理论 计算学习理论是关于机器学习的理论基础,其目的是分析学习任务的困难本质,为学习算法提供理论保证,并根据分析结果指导算法设计。泛化误差和经验误差是计算学习理论的两个重要概...

PAC-Baye

PAC(概率近似正确)理论在给定训练集D的情况下,我们希望基于学习算法algorithm学得的模型所对应的假设h尽可能的接近目标概念c.也就是说,以较大的概率学得的误差满足预设上限的模型,这就是“概率...

理解深度学习需要重新思考泛化

《UNDERSTANDING DEEP LEARNING REQUIRES RETHINKING GENERALIZATION》翻译,有翻译不准确之处,尽请指点。...

rappid破解弹出框

rappid.js是一款图表插件很强大,但是使用一段时间后会过期,该插件是收费插件,过期后还可以使用但是总是alert(“Rappid Trial License Expired. Visit ht...
  • zzzqqqzq
  • zzzqqqzq
  • 2016年11月18日 10:21
  • 10272
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:周志华 《机器学习》之 第十二章(计算学习理论)概念总结
举报原因:
原因补充:

(最多只允许输入30个字)