周志华 《机器学习》之 第十二章（计算学习理论）概念总结

看到12章，题目叫计算学习理论，当时一萌，这是干什么用的呢？前面的章节中基本都是讲述了一些机器学习的一些常用方法。看到这个标题我的第一反应应该是理论方面的研究，那是否对计算与学习这两方面的理论研究呢？既然是理论的东西，我想对于一般应用机器学习算法的来说，可能意义不大吧！但是我个人认为有可能也可以指导我们进行算法设计。周老师数据对计算学习理论这么描述的，（是关于机器学习的理论基础，其目的是分析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法设计）

1、基础知识

独立同分布样本：
泛化误差：
令$h$ 为从$X$到$Y$的一个映射，其泛化误差为

$$E(h;{\cal D}) = P_{x-{\cal D}}(h({\bf x}) \not= y)$$
$h$在$D$上的经验误差为

$$\hat{E}(h;D) = \frac 1m \sum^m_{i=1} Ⅱ(h({\bf x}_i \not= y_i))$$
如果 $D$是${\cal D}$的独立同分布采样，因此 h <script type="math/tex" id="MathJax-Element-1169">h</script>的经验误差的期望等于其泛化误差。
因此本章就主要研究经验误差与泛化误差之间的逼近程度。

2、PAC学习

概率近似正确（PCA）

3、有限假设空间

4、VC维

5、Rademacher复杂度

6、稳定性