提升和加法树及AdaBoost算法总结

提升方法概述

一个弱分类器的误差率只比随机猜测好一些，提升的目的就是连续对反复修改的数据应用弱分类算法，由此产生一个弱分类器序列$G_m(x)$,$m=1,2,3...M$，然后通过一个加权的多数表决来合并全部预测，以产生最终预测
$G(x) = sign(\sum_{m=1}^M\alpha_mG_m(x))$
这里，$\alpha_m$由提升方法来计算，它们的作用是对序列中较精确的分类器给予较高的影响。
在每个提升步，数据修改就是对每一训练观测$(x_i,y_i)$实施加权$w_i$，开始，所有权都置成$w_i = 1/N$，以便第一步能够简单地用通常的方式在数据上训练分类。对每一个相继的迭代$m=2,3...M$，观测的权值被分别修改，并且分类算法被再次应用于加权观测。在第$m$步，那些被前一步导出的分类器$G_{m-1}(x)$误分类的观测权值提高，而被正确分类的观测权值降低。这样，随着迭代的进行，那些很难正确分类的观测受到了不断增长的影响。因此，每个后继分类器被强制关注被前面的分类器误分类的训练观测。

AdaBoost算法

算法流程如下：
1.初始化观测权值$w_i = 1/N, i = 1,2...N$
2.对于$m=1$到$M$：
（a）使用权值$w_i$，用分类器$G_m（x）$拟合数据
（b）计算$G_m（x）$在训练数据集上的分类误差率
$e_m = P(G_m(x_i)!=y_i) =\sum_{i=1}^Nw_{mi}I(G_m(x_i)!=y_i)$
（c）计算$G_m（x）$的系数
αm=12∗log1−