机器学习和数据挖掘（8）：偏见方差权衡

偏见方差权衡

偏见和方差

我们一直试图在近似和泛化之间找到一个平衡。

我们的目标是得到一个较小的$E_{out}$，也希望在样例之外也表现得非常棒的$E_{out}$。复杂的假设集$\mathcal H$将有机会得到一个接近目标函数的结果。

VC维分析使用的是泛化边界来进行泛化。根据公式$E_{out}\leq E_{in}+\Omega$，其中$E_{in}$是我们在算法中需要去减少的值，如果它比较小，我们就得到了一个不错的近似函数（起码在某些点上是这样）；而$\Omega$则是纯粹的泛化，用于量化如何从样本内泛化到样本外。

偏见方差则是将$E_{out}$分解成两个不同的值：

1. $\mathcal H$能够在何种程度上近似$f$；
2. 我们如何能够在何种程度上得到这个$h\in \mathcal H$

从$E_{out}$开始

我们对于特定的数据集得到的近似函数通过加一个上标的方式来表示，即$g^\mathcal D$。在偏见方差中，将用期望$\mathbb E$来表示$E_{out}$。

$$E_{out}(g^\mathcal D)=\mathbb E_x[(g^\mathcal D(x)-f(x))^2]$$

那么根据上式，我们要得到泛化的表现，就要去除特定的$\mathcal D$对近似函数的影响。我们对$\mathcal D$进行一个整合，即求多个相似数据集的期望，以此来消除不同数据集对不同近似函数的影响。

ED[Eout(gD)]==ED[Ex[(gD(x)−f(x)