Boosting(AdaBoost、GBDT)

Boosting

Boosting也是Ensemble Learning（集成学习）中重要的一类，和Bagging的并行式不同，Boosting的核心思想是按顺序去训练分类器，每一个都要尝试修正前面的分类。其中最具有代表性的是的是Adaboost(适应性提升， Adaptive Boosting)和Gradient Boosting(梯度提升)。
对于Boosting方法来说，有两个非常重要的问题：

1. 在每一轮如何改变训练数据的权值或概率分布，修改的策略是什么？
2. 如何将弱分类器组合成一个强分类器？

---

Adaboost

对于上面两个问题，AdaBoost的做法是：
1.提高那些被前一轮弱分类器错误分类的样本的权值，而降低那些被正确分类样本的权值。这样一来，那些被分错的数据，在下一轮就会得到更大的关注。所以，分类问题被一系列的弱分类器“分而治之”。
2. 对弱分类器的组合，AdaBoost采取加权多数表决的方法。即加大分类误差率小的弱分类器的权值，使其在表决中起较大作用，减小分类误差率大的弱分类器的权值，使其在表决中起较小的作用。

算法流程

1.初始化数据权值分布

假设训练数据集中有均匀的权值分布（只有初始是均匀，后面要按照误差率进行更新）：
$$D_1=(w_{11},w_{12},...,w_{1N})，w_{1i}=\frac{1}{N},i=1,2,...,N$$

2.基于权值分布$D_m$得到基本分类器

G m ( x ) : x → { − 1 , 1 } G_m(x):x\rightarrow\{-1,1\} Gm​(x):x→{ −1,1}

3.计算分类误差率

$G_m(x)$在训练数据集上的分类误差率为（注意不要忘记数据权值）：
$$e_m=\sum _{i=1}^{N}P(G_m(x_i)̸=y_i)=\sum _{i=1}^N{w}_{mi}I(G_m(x_i)̸=y_i)$$

4.计算$G_m(x)$的系数

$$a_m=\frac{1}{2}\log \frac{1-e_m}{e_m}$$

5.更新数据集的权值分布

$$D_{m+1}=(w_{m+1,1},w_{m+1,2},...,w_{m+1,N})$$
$$w_{m+1,1}=\frac{w_{mi}}{Z_m}\exp (-a_m{y}_i{G}_m(x_i$$