提升方法

Blending and Bagging

Uniform Blending

$$G(x) = \frac{1}{T}\sum_{t=1}^Tg_t(x)$$

$g_t$ 应该是多元化的，才会比单个的假设更好

Linear Blending

Any Blending

简单模型的组合不一定是线性的，还可能是非线性的。

BAGging

bootstrap aggregation(BAGging)：采用bootstrapping的方法从分布D上采样T次，获取T个简单模型$g_t$

Summary

Blending方法是简单模型的组合。
BAGging方法与Blending不同之处是它的简单模型是从bootstrapping采样的不同数据上训练的。

Adaptive Boosting

与BAGging不同之处是它会调整上次错分的样本的权重，所以称为自适应。

注意re-weighting factor $t=\sqrt{\frac{1-\epsilon}{\epsilon}}$ ，因为为了使

$$\frac{w_{correct}^{l+1}}{w_{sum}^{l+1}}=1/2$$

Decision Stump

$$h_{s,i,\theta}=s \cdot sign(x_i-\theta)$$