计算学习理论探讨了机器学习的问题可学习性、条件及评价标准。PAC模型关注在高概率下近似正确（Probably Approximately Correct）的学习框架，其中涉及计算复杂性、样本复杂性和出错界限。真实错误率与训练错误率之间的关系是学习复杂度的主要研究内容。对于有限假设空间，样本复杂度与训练样例的数量成正比，以保证一致学习器的性能。
计算学习理论
计算学习理论主要研究关于机器学习的一般化概念,比如什么样的问题才能被学习,什么样条件下学习才可能成功,怎么样评价一个学习的成功与否主要研究了两个机器学习的一般性框架,可能近似正确(PAC,probably approximate correct)框架和出错界限(mistakeboundary)框架.并提出了学习计算的复杂性,其中有计算复杂性(computational complexity,解决算法以较高概率收敛到成功的计算量),样本复杂性(sample complexity需要多少样本来实习这个学习),出错界限(收敛到成功前可以容忍多少错误分类).
错误率的概念
定义:X为样本空间,c:{X = 0,1}为要学习的概念空间,比如c(x)=1则为男,就是一个要被学习的属性.C是c的集合.D为X的概率分布,训练样本和测试样本都是从概率分布为D中抽取出来的.S为训练样本.H是学习器L对目标概念输出时考虑的目标假设集合(concept hypothesis),即L需要从H中输出一个针对目标概念c学习的目标假设结果h.
如何定义目标假设结果h和真实目标的关系,首先要定义假设h对应于学习的目标概念c和样本的分布D的真实错误率(true error),也称泛化误差(generalization error).其描述为应用h到将来按D抽取实例时的期望的错误率.
最低0.47元/天 解锁文章
扫一扫
2903
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
