偏差-方差分解

最新推荐文章于 2023-07-06 17:46:02 发布

遇见更好的自己

最新推荐文章于 2023-07-06 17:46:02 发布

阅读量1.4k

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/yc1203968305/article/details/73477174

版权

机器学习专栏收录该内容

42 篇文章 2 订阅

订阅专栏

偏差-方差分解试图对学习算法的期望泛华错误率进行拆解，我们知道，算法在不同的训练集上学习到的结果可能不同。对于测试样本 $x$ ,令 $y_D$ 为 $x$ 在数据集中的标记， $y$ 为 $x$ 的真实标记， $f(x;D)$ 为训练集D上学得模型 $f$ 在 $x$ 上的预测输出，以回归任务为例，学习算法的期望预测为

f ¯ (x) = E D [f (x; D)]

$\bar{f}(x)=E_D[f(x;D)]$
使用样本相同的不同训练集产生的方差为

v a r (x) = E D [(f (x; D) - f ¯ (x)) 2],

$var(x)=E_D[(f(x;D)-\bar{f}(x))^2],$
噪声为

ε 2 = E D [(y D - y) 2]

$\varepsilon^2=E_D[(y_D-y)^2]$
期望输出与真实标记的差别称为偏差

b i a s 2 (x) = (f ¯ (x) - y) 2

$bias^2(x)=(\bar{f}(x)-y)^2$
假定噪声期望为0，即

ED[yD−y]=0 $E_D[y_D-y]=0$ .

E (f; D) = E D [(f (x; D) - y D) 2] = E D [(f (x; D) - f ¯ (x) + f ¯ (x) - y D) 2] = E D [(f (x; D) - f ¯ (x)) 2] + E D [(f ¯ (x) - y D) 2] + E D [2 (f (x; D) - f ¯ (x)) (f ¯ (x) - y D)] = E D [(f (x; D) - f ¯ (x)) 2] + E D [(f ¯ (x) - y D) 2] = E D [(f (x; D) - f ¯ (x)) 2] + E D [(f ¯ (x) - y + y - y D) 2] = E D [(f (x; D) - f ¯ (x)) 2] + E D [(f ¯ (x) - y) 2] + E D [(y - y D) 2] + 2 E D [(f ¯ (x) - y) (y - y D)] = E D [(f (x; D) - f ¯ (x)) 2] + E D [(f ¯ (x) - y) 2] + E D [(y - y D) 2] = v a r i a n c e + b i a s + n o i s e

$\begin{align} E(f;D)&=E_D[(f(x;D)-y_D)^2]=E_D[(f(x;D)-\bar{f}(x)+\bar{f}(x)-y_D)^2] \\ &=E_D[(f(x;D)-\bar{f}(x))^2]+E_D[(\bar{f}(x)-y_D)^2]+E_D[2(f(x;D)-\bar{f}(x))(\bar{f}(x)-y_D)] \\ &=E_D[(f(x;D)-\bar{f}(x))^2]+E_D[(\bar{f}(x)-y_D)^2]\\ &=E_D[(f(x;D)-\bar{f}(x))^2]+E_D[(\bar{f}(x)-y+y-y_D)^2]\\ &=E_D[(f(x;D)-\bar{f}(x))^2]+E_D[(\bar{f}(x)-y)^2]+E_D[(y-y_D)^2]+2E_D[(\bar{f}(x)-y)(y-y_D)]\\ &=E_D[(f(x;D)-\bar{f}(x))^2]+E_D[(\bar{f}(x)-y)^2]+E_D[(y-y_D)^2]\\ &=variance+bias+noise \end{align}$

结论

the bias term measures the average amount by which the predictions of the estimator differ from the predictions of the best possible estimator for the problem（偏差度量了学习算法的预期期望与真实结果/最优学习算法的偏离程度，即刻画了算法本身的拟合能力）
The variance term measures the variability of the predictions of the estimator when fit over different instances LS of the problem.(方差度量了同样大小训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响)
the noise measures the irreducible part of the error which is due the variability in the data（噪声表达了在当前任务上任何学习算法所能达到的期望泛华误差的下界）

参考《机器学习》-周志华