周志华机器学习笔记-C12

计算学习理论

从概率角度给出算法复杂度、误差限、稳定性的理论。

一、PAC学习

1、计算学习理论：关于机器学习的理论基础，旨在分析学习任务的困难程度，为学习算法提供理论保证并指导算法设计。本章主要讨论二分问题。样例集被描述为某分布下的重复独立取样。泛化误差被描述为采用某种分类算法时，样本空间标签与真实标签不一致的概率。经验误差即限制在样例集上的频数。

2、常用概率不等式：包括Jensen、Hoeffding、McDiarmid：

3、概率近似正确PAC学习：“目标概念”：即完全正确分类的分类算法；“假设”：学习算法认为的可能正确分类算法，其集合称假设空间。若假设空间包含目标概念，可将示例完全正确分开，称为该问题对学习算法可分；反之若不包含，则不可分。由于示例有限，可能会产生若干等效假设而学习算法无法区分。

不强求假设一定能得到目标概念，而是作概率意义上的“辨识”（PAC辨识），即学习算法以较大概率（1-δ）学得目标概念的近似（误差小于ε），即下式。

于是问题归结为如何获得这个合理的假设，从假设空间排除的话困难程度多大，并且如何评估从经验误差估计泛化误差的准确性。

PAC可学习：对目标概念而言，若存在学习算法，使得对任何样本数大于某一关于误差倒数、置信度倒数、数据本身复杂度、目标概念复杂度的多项式函数的样本集，总能从假设空间中辨识出目标概念。则称该目标概念是PAC可学习的。学习算法样本复杂度定义为满足PAC学习算法所需的最小样本数。

这里需要特别关心假设空间复杂度，若假设空间越大，理论上讲它包含目标概念的可能越大，但筛选难度也倍增。

二、假设空间复杂度与泛化误差限

本节针对不同假设空间对其复杂度和泛化误差限进行估计。

1、有限假设空间：有限假设空间都是PAC可学习的，所需样本数如下。泛化误差随样例数目增多而收敛到0。

在概率意义上，经验误差估计泛化误差在样例数目较大时是较好的近似。

2、无限假设空间的复杂度（VC维）：示例集被假设空间打散：即假设空间能对示例集做完全的划分，共2m种可能。假设空间的VC维就是能被假设空间打散的最大示例集大小（只要求存在一个）。如：二维实平面线性划分，假设空间是R2的，但是其VC维为3，原因是大于4个的样例集总存在一中情形无法线性划分。

无限假设空间基于经验误差的泛化误差限，直接与VC维相关：

3、Radmacher复杂度：基于VC维的假设空间复杂度与泛化误差限估计没有考虑到数据分布，Radmacher复杂度一定程度上考虑。

三、稳定性理论

虽然Radmacher复杂度在VC维导出法泛化误差考虑了数据分布，但是两者均与学习算法无关。希望获得与算法有关的分析结果，稳定性分析是值得关注的一个方向。