学习西瓜书-公式1.1

解释下为什么使用(1.1)式作为“训练集之外的所有样本上的误差”。

首先，我们是这样定义一个假设函数h对一个样本点x的预测误差的：预测值h(x)与真实值f(x)一致则误差为0，不一致则误差为1，即I(h(x)≠f(x))
由于x是一个随机变量，那么这个误差值也是一个随机变量，取值为0或1，其在训练集之外的所有样本上的期望可以看作假设函数h在训练集之外的所有样本上预测的错误率，即：

我们就把这个错误率作为假设函数h在训练集之外的所有样本上的误差。

然后，在算法La的假设空间中可能会存在多个假设函数与训练集一致，最终产生哪一个是有概率的（这一点我们在以后介绍具体算法时就会看到），令算法La在训练数据集X上产生某个假设h的概率为P(h|X, La)，那么，我们接下来要做的是定义算法La在“训练集之外的所有样本上的误差”，而不只是La产生的一个假设h的误差。

我们已经定义了假设函数h在训练集之外的所有样本上的误差，由于h是算法La以概率P(h|X, La)产生的，那么我们可以定义算法La的误差为所有可能的h的误差的期望，即：
上面的说明就是(1.1)是的含义了。