目录
12.1基础知识
计算学习理论研究的是关于通过"计算"来进行"学习"的理论,即关于机器学习的理论基础,其目的是分析学习任务的困难本质,为学习算法提供理论保证,并根据分析结果指导算法设计。
12.2 PAC学习
12.3有限假设空间
12.3.1可分情形
可分情形意味着目标概念c属于假设空间H,即 。对 PAC 学习来说,只要训练集D 的规模能使学习算法
以概率
找到目标假设的
近似即可.
我们先估计泛化误差大于 但在训练集上仍表现完美的假设出现的概率. 假定 h的泛化误差大于
,对分布 D上随机来样而得的任何样例 (x y)有:
12.3.2不可分情形
引理:若训练集D包含m个从分布D上独立同分布采样而得的样例,,则对任意
,有:
推论 :若训练集D 包含 m个从分布 D上独立同分布来样而得的样例, ,则对任意
,以至少
的概率成立:
定理 :若H为有限假设空间, ,则对任意
,有:
12.4VC维
现实学习任务所面临的通常是无限假设空间,欲对此种情形的可学习性进行研究,需度量假设空间的复杂度.最常见的办法是考虑假设空间的 "VC维"。
1. 增长函数
增长函数,也称为VC维增长函数,描述了在给定假设空间下,能够被假设空间所“分割”或“覆盖”的训练样本的最大数量。具体来说,它衡量的是假设空间中能够对样本集进行不同标签分配的能力。增长函数的定义如下:对于一个假设空间 H )和一个样本集 S (大小为 m ),增长函数 ( ) 表示假设空间 H 能够对样本集 S 进行的不同标签分配的最大数量。
2. 打分
打分是一个与增长函数紧密相关的概念。它描述了一个假设空间能否对某个样本集进行所有可能的标签分配。具体来说:一个假设空间 (H )能打分一个样本集 S (大小为 m,如果 H 中的假设可以对 S 中的每一种可能的标签分配进行匹配。
3. 打散
打散(或称为分裂)是一个与打分相关的概念,描述了假设空间能否在所有可能的标签分配下对样本集进行准确的分类。具体来说:假设空间 H 能打散一个样本集S (大小为 m )如果H能对 S 中的每一种标签分配进行正确的分类。换句话说,如果假设空间 H 能生成所有可能的标签分配。
4. VC维
VC维是衡量一个假设空间复杂度的指标,它反映了假设空间能够打散的最大样本集的大小。具体来说:VC维是一个假设空间 H 可以打散的最大样本集的大小。即,如果假设空间 H 能打散大小为 d 的样本集,但不能打散大小为 d+1 的样本集,那么 H 的VC维就是 d。
增长函数 衡量假设空间对样本集进行的标签分配的能力。
打分 描述假设空间是否能够覆盖所有可能的标签分配。
打散 具体指假设空间对样本集进行所有可能标签分配的能力。
VC维 是衡量假设空间复杂度的关键指标,反映了最大打散能力。
12.5 Rademacher复杂度
Rademacher 复杂度 是另一种刻画假设空间复 杂度的途径,与 vc 维不同的是,它在一定程度上考虑了数据分布.
给定训练集 ={(X1 , Y2), (X2,Y2),..., (Xm , Ym)} 假设h 的经验误差为: