偏置方差分解

偏置-方差 分解（bias-variance decomposition）

最近看论文需要借助的一个方法，这里简略地总结一下它地参数表。
原文：
P. Domingos, “A unified bias-variance decomposition and its applications,”
Proc. ICML, 2000, pp. 231–238

Training set	D = { ( x 1 , t 1 ) , . . , ( x n , t n ) } D=\{(x_1,t_1),..,(x_n,t_n)\} D={(x1​,t1​),..,(xn​,tn​)}
test example, model, prediction, true value	$x$, $f$, $y=f(x)$, $t$
loss function example	$L(t,y)$
Optimal prediction	$y_{\ast }$ which minimizes $E_t[L(t,y_{\ast })]$.
main prediction	$y_m^{L,D}=argmi{n}_{y^{\prime }}{E}_D[L(y,y^{\prime })]$
bias	$B(x)=L(y_{\ast },y_m)$
variance	$V(x)=E_D[L(y_m,y)]=E_x[B(x)]$
noise	$N(x)=E_t[L(t,y_{\ast })]$

我们有：
$$\begin{array}{rl}期望误差& =方差+偏置+噪声\\ E_{D,t}[L(t,y)]& =c_1{E}_t[L(t,y_{\ast })]+L(y_{\ast }，y_m)+c_2{E}_D[L(y_m,y)]\\ & =c_{1}N(x)+B(x)+c_{2}V(x)\end{array}$$