偏差-方差分解

对于测试样本$\mathbf{x}$，令$y_D$为$\mathbf{x}$在数据集中的真实标记，$f(\mathbf{x};D)$为训练集$D$上
学得模型$f$在$\mathbf{x}$上的预测输出。以回归问题为例，学习算法的期望预测为：
$$\overline{f}(x)=E_D[f(\mathbf{x};D)]$$
使用样本数相同的不同的训练集产生的方差为：
$$var(\mathbf{x})=E_D[(f(\mathbf{x};D)-\overline{f}(x){)}^2]$$
噪声为：
$${\epsilon }^2=E_D[(y_D-y{)}^2]$$
期望输出与真实标记的差别称为偏差：
$$bia{s}^2(\mathbf{x})=(\overline{f}(x)-y{)}^2$$
假定噪声的期望为0，即$E_D[y_D-y]=0$,下面对算法的期望泛化误差进行分解：
$$E(f;D)=E_D[(f(\mathbf{x};D)-y_D{)}^2]$$
$$=E_D[(f(x;D)-\overline{f}(x)+\overline{f}(x)-y_D{)}^2]$$
$$=E_D[(f(x;D)-\overline{f}(x){)}^2]+E_D[(\overline{f}(x)-y_D{)}^2]+E_D[2(f(x;D)-\overline{f}(x))(\overline{f}(x)-y_D)]$$
$$=E_D[(f(x;D)-\overline{f}(x){)}^2]+E_D[(\overline{f}(x)-y+y-y_D{)}^2]$$
$$=E_D[(f(x;D)-\overline{f}(x){)}^2]+E_D[(\overline{f}(x)-y{)}^2]+E_D[(y-y_D{)}^2]+2E_D[(\overline{f}(x)-y)(y-y_D)]$$
$$=E_D[(f(x;D)-\overline{f}(x){)}^2]+(\overline{f}(x)-y{)}^2+E_D[(y_D-y{)}^2]$$
$$=bia{s}^2(x)+var(x)+{\epsilon }^2$$

偏差：学习算法的期望预测与真实结果的偏离程度
方差：数据扰动所造成的影响
噪声：表达了当前任务上任何学习算法所能达到的期望泛化误差的下界

参考：西瓜书