机器学习中的偏差与方差

偏差和方差

1 意义

• 偏差：
  • 度量了学习算法的期望预测与真实结果的偏离程度
  • 刻画了学习算法本身的拟合能力
• 方差：
  • 度量了同样大小的训练集的变动所导致的学习性能的变化
  • 刻画了数据扰动所造成的影响
• 噪声：
  • 表达力当前任务上任何学习算法所能达到的期望泛化误差的下界
  • 刻画了学习问题本身的难度

2 偏差和方差主要用于模型的选择

• 选择相对较好的模型的顺序：
  • 【1】方差小，偏差小 > 【2】方差小，偏差大 > 【3】方差大，偏差小 > 【4】方差大，偏差大

3 公式推导

符号	意义
x	测试样本
D	训练集
$y_D$	x在数据集中的标记
y	x的真实标记
f	训练集D上学得的模型
$f(x;D)$	训练集D上学得的模型$f$在x上的预测输出
$\overline{f}(x)$	模型$f$对x的期望预测输出

• 以回归任务为例

• 学习算法的期望预测：

$$\overline{f}(x)={\mathrm{E}}_D[f(x;D)]$$

• 使用样本数相同的不同训练集产生的方差为：
  $$var(x)={\mathrm{E}}_D[(f(x;D)-\overline{f}(x){)}^2]$$

• 噪声：
  $${ϵ}^2={\mathrm{E}}_D[(y_D-y{)}^2]$$

• 对算法的期望泛化误差进行分解：
  
  说明：

1. 第一个红色：展开（利用E(xY)=E(x)E(Y)，不相关）和常数的均值是自己本身
   $$\begin{array}{rl}{\mathrm{E}}_D[2(f(x;D)-\overline{f}(x))(\overline{f}(x)-y_D)]& =2\ast {\mathrm{E}}_D[f(x;D)\overline{f}(x)-{\overline{f}}^2(x)-f(x;D)y_D+\overline{f}(x)y_D]\\ & =2\ast ({\mathrm{E}}_D[f(x;D)\overline{f}(x)]-{\overline{f}}^2(x)-{\mathrm{E}}_D[f(x;D)y_D]+{\mathrm{E}}_D[\overline{f}(x)y_D])\end{array}$$

2. 噪声的期望为0

   于是有：
   $$\mathrm{E}(f;D)=bia{s}^2(x)+var(x)+{ϵ}^2$$

参考

理解机器学习中的偏差与方差

<机器学习>_周志华