Understanding the Bias-Variance Tradeoff
算法在不同训练集上学得的结果可能不同,即便这些训练集来自于同一分布。对于测试样本
x
x
,学习算法的期望预测为
其中, D D 为训练集,为训练得到的模型。
使用样本数相同的不同训练集训练产生的方差为:
var(x)=ED[(f(x;D)−f(x)¯¯¯¯¯¯¯¯¯¯)2]
v
a
r
(
x
)
=
E
D
[
(
f
(
x
;
D
)
−
f
(
x
)
¯
)
2
]
噪声为:
ϵ2=ED[(yD−y)2]
ϵ
2
=
E
D
[
(
y
D
−
y
)
2
]
预测值的期望值与真是标记之间的差别称为偏差(Bias)