偏差-方差分解简要推导

• 假设数据集上需要预测的样本为Y ，特征为X， 潜在模型为$Y=f(X)+\epsilon$，其中$\epsilon \sim N(0,{\sigma }_{\epsilon })$是噪声，估计的模型为$\hat{f}(x)$。
• 推导过程
  1. $Err(X)=E[(Y-\hat{f}(X){)}^2]$
  2. $Err(X)=E[(f(X)+\epsilon -\hat{f}(X){)}^2]$
  3. $Err(X)=E[(f(X)-\hat{f}(X){)}^2+2\epsilon (f(X)-\hat{f}(X))+{\epsilon }^2]$
     由于$\epsilon$服从均值为0的分布，故对$2\epsilon (f(X)-\hat{f}(X))$求期望得0，${\epsilon }^2$的期望等于其方差。
  4. $Err(X)=E[(E(\hat{f}(X))-f(X)+\hat{f}(X)-E(\hat{f}(X)){)}^2]+{\sigma }_{\epsilon }^2$
  5. $Err(X)=E[(E(\hat{f}(X))-f(X){)}^2]+E[(\hat{f}(X)-E(\hat{f}(X)){)}^2]+2E[(E(\hat{f}(X))-f(X))(\hat{f}(X)-E(\hat{f}(X)))]+{\sigma }_{\epsilon }^2$
  6. 对 $E[(E(\hat{f}(X))-f(X))(\hat{f}(X)-E(\hat{f}(X)))]$进一步展开可得：
     $E[E(\hat{f}(X))\hat{f}(X)-E(\hat{f}(X){)}^2-f(X)\hat{f}(X)+f(X)E(\hat{f}(X))]$
     其中前两项和为0，得$E[f(X)E(\hat{f}(X))-f(X)\hat{f}(X)]$
  7. $E(\hat{f}(X))$是一个值所以可以从式中提出来，同时$f(X)$,$\hat{f}(X)$相互独立。故
     $E[f(X)E(\hat{f}(X))-f(X)\hat{f}(X)]=E(\hat{f}(X))E(f(X))-E(f(X))E(\hat{f}(X))=0$
  8. $Err(X)=E[(E(\hat{f}(X))-f(X){)}^2]+E[(\hat{f}(X)-E(\hat{f}(X)){)}^2]+{\sigma }_{\epsilon }^2$
  9. $Err(X)=Bia{s}^2+Var(X)+{\sigma }_{\epsilon }^2$
• 泛化误差可以分解为：偏差+方差
• 偏差：反映了模型在样本上的期望输出与真是标记之间的差距，即模型本身的精准度，反映的是模型本身的拟合能力。
• 方差：反映了模型在不同训练数据集下学得的函数的输出与期望输出之间的误差，即模型的稳定性，反应的是模型的波动情况。
• 泛化误差分析：欠拟合，高偏差低方差；过拟合，低偏差高方差。