机器学习（六）：集成算法（1）Bagging

1.Aggregation概论

1.1 引言

三个臭皮匠，顶个诸葛亮。
假设我们有多个预测模型$g_1,g_2...g_T$,能不能将这些模型组合起来，获得更好的性能？回想一下，之前我们Validation：是在多个模型中选择出一个好的模型，现在问题变成了：多个模型组合出一个更好的模型。
能不能呢？我们从直观上来看：

我们组合是有效果的。

1.2 这么多g是怎么获得的？

如果使用$H_1, H_2...H_T$，那么aggregation算法的模型复杂度则$\ge complexity(\cup_{t=1}^TH_t)$

1.3 为什么aggregation可以起作用？

最终采用如下形式：

$$G(x)=\frac 1T \sum_{t=1}^Tg_t(x)$$ 假设我们试图预测的真实函数为f(x)，那么每一个g都可以表示为： $$g_t(x)=f(x)+\epsilon_t(x)$$ 则G的预测的平方和误差的期望是： $$E[(G-f(x))^2]=E[(\frac 1T \sum_{t=1}^T\epsilon_t(x))^2]$$ ，假设误差的均值是0，且不具有相关性，即 $$E[\epsilon_t(x)]=0, E[\epsilon_t(x)\epsilon_u(x)]=0$$ 则有

E[G(x