Adaboost流程梳理

一般地说，Adaboost中每个弱分类器都是单层决策树。

基本思想如下：

1. 第一步使得所有样本点等权重，寻找最优的判定阈值${\theta }_1$和分类方法（方向，也即大于该阈值为+1还是小于该阈值为+1）。在该单层决策树下得到误差${ϵ}_1$。使用${ϵ}_1$可以计算出该分类器在最后所有分类器加权时的权重：${\alpha }_1=\frac{1}{2}\ast log(\frac{1-{ϵ}_1}{{ϵ}_1})$。
2. 接下来迭代数据权重，用第 $i$ 轮表示。针对单个样本点$x$而言：${\omega }_i={\omega }_{i-1}\ast e^{-{\alpha }_{i-1}{h}_{i-1}(x)y_i}/{\sum }_x{\omega }_{i-1}\ast e^{-{\alpha }_{i-1}{h}_{i-1}(x)y_i}$ ,除以该分母意为归一化的权重。其中$h_{i-1}(x)$为该点在上一次迭代后所得分类器对$x$进行的预测lable。根据该数据权重计算新的${ϵ}_i$，继而计算新的${\alpha }_i$，得到第$i$个分类器在所有分类器中的权重。直到得到最终分类器。
3. 使用最终分类器计算预测值：$H(x)=sign({\sum }_i{\alpha }_i{h}_i(x))$