随机森林-当算法是回归算法，模型的泛化误差公式推导

符号	含义
$x$	测试样本
$D$	数据集
$y_D$	$x$ 在数据集中的标记
$y$	$x$ 的真实标记
$f$	训练集 $D$ 学到的模型
$f(x;D)$	由训练集 $D$ 学得的模型 $f$ 对 $x$ 的预测输出
$\bar{f}(x)$	模型 $f$ 对 $x$ 的期望预测输出

因此我们可以得到，学得的算法预测结果的期望为
$$\bar{f}(x)={\mathbb{E}}_D[f(x;D)]$$

根据描述，我们来看一下偏差、方差、噪音的公式
偏差是预测值与真实值之间的差异，衡量模型的精度。
$$bia{s}^2(x)=(\bar{f}(x)-y{)}^2$$
方差是模型在不同数据集上输出的结果的方差，衡量模型稳定性。
$$var(x)={\mathbb{E}}_D[(f(x;D)-\bar{f}(x){)}^2]$$
噪音是数据收集过程当中不可避免的、与数据真实分布无关的信息
$$nois{e}^2={\mathbb{E}}_D[(y_D-y{)}^2]$$

现在证明
$$\begin{array}{rl}泛化误差& =偏{差}^2+方差+噪{音}^2\\ & =bia{s}^2+variance+nois{e}^2\end{array}$$
首先我们假定噪声的期望为 0，也就是
$${\mathbb{E}}_D[y_D-y]=0$$
有
E ( f ; D ) = E D [ ( f ( x ; D ) − y D ) 2 ] = E D [ ( f ( x ; D ) − f ˉ ( x ) + f ˉ ( x ) − y D ) 2 ] = E D [ ( f ( x ;