机器学习第12章（计算学习理论）

                  计算学习理论(Computational learning theory)

12.1 计算学习基础知识

定义：通过计算来学习的理论。目的：是分析学习任务的困难本质，为学习算法提供理论保障，并根据分析结果指导算法设计。

12.2 PCA学习

Probably Approximately Correct 学习理论，概率近似正确。

12.3 有限假设空间

可分情形意味着目标概念c属于假设空间H，即。

12.4 VC维

现实学习任务所面临的通常是无限假设空间，欲对此种情形的可学习性进行研究，需度量假设空间的复杂度。

增长函数：增长函数表示假设空间H对m个示例所能赋予标记的最大可能结果数。H对示例所能赋予标记的可能结果数越大，H的表示能力越强，对学习任务的适应能力也越强。

12.5 Rademacher复杂度

基于VC维的泛化误差界是分布无关的、数据独立的，对任何数据分布都成立。

12.6 稳定性

无论是基于VC维还是Rademacher复杂度来推导泛化误差界，所得到的结果均与具体学习算法无关，对所有学习算法都适用。

算法的“稳定性”考察的是算法在输入发生变化时，输出是否会随之发生较大的变化。