Bagging能降低方差的一种理解

为什么能降低方差
Bagging由多个并行训练的弱学习器集合而成，模型的方差是指模型对样本输出值关于数据集的方差，由于模型是泛化误差分解得到的一部分（周志华西瓜书），所以我们希望模型的方差尽可能小，对每个样本$x$, 假设单模型（如决策树）在不同数据集上的学习得到的模型对样本$x$的输出服从某种分布$\Gamma$，$G_1(x),G_2(x),...,G_n(x)$为来自分布$\Gamma$独立同分布的随机变量，Bagging的集成策略为对弱学习器求平均，即得到模型$f(x)$
$$F(x)=\frac{G_1(x)+G_2(x)+...G_n(x)}{n}$$
若$G_1(x),G_2(x),...,G_n(x)$分别取值为$G_{1,D_1}(x),G_{2,D_2}(x),...,G_{n,D_n}(x)$,则得到一个具体模型
$$f(x)=\frac{G_{1,D_1}(x)+G_{2,D_2}(x)+G_{n,D_n}(x)}{n}$$
设随机变量$G_i$的方差为${\sigma }^2$,则
$$Var(F(x))=\frac{{\sigma }^2}{n}$$
可以看到Bagging集成之后方差变小了，也就是说在不同数据集上训练得到的模型对样本的预测值之间的差距变小。
为什么要选择偏差比较小的弱学习器
假设单个模型$G_i(x)$的对样本$x$预测值的期望$\mu$,即
$$E(G_i(x))=\mu$$
则$$E(F(x))=\mu$$
而偏差是模型对样本的预测值的期望和样本真实标签之差的平方的期望，单个模型和集成之后的模型关于样本的预测值的期望一样，故偏差也近似，因此单个模型的偏差决定集成之后的模型的偏差，因此要尽量选择偏差比较小的单模型，通常来说模型越复杂偏差越小，因此尽量选择比较复杂的单模型，如深度很深或者不剪枝的决策树。