AdaBoost 的思考

一个问题

今天跟超哥讨论了一下AdaBoost，结果发现自己有老多东西不懂啊~
　　其中有个问题：样本的权重W如何在弱分类器中使用？现在好好地梳理一下AdaBoost，细节也好好地想一想。
　　看博客得知：样本权重W不会在训练弱分类器中使用，只是在求弱分类器的误差时使用。
　　上面的回答正确与否呢？答案是让人失望的，有的博客并不尽人意，还是自己去查阅论文吧。
　　现在看论文《AdaBoost and the Super Bowl of Classifiers A Tutorial Introduction to Adaptive Boosting》，其中4页介绍到，只需要m轮迭代时，只需要找到分类器Km，该分类器使得We最小即可，We是之前的满足本次Km!=label 的样本权重之和。权重是累计之前的。
　　原作者 Yoav.Freund and Robert.Shapire《A decision-theoretic generalization of on-line　learning and an application to boosting》里，是如何解释的呢？在其伪代码中，步骤2中，”Call weak learning algorithm, providing it with the distribution p; get back a hypothesis h”，此处的p相当于样本权重W，说明也是在弱学习器的训练时，是基于样本的分布W的.
　　所以，样本权重W是在训练新的弱分类器时，构造代价函数使用。
　　“We call the algorithm AdaBoost because, unlike previous algorithm, it adjusts adaptively to the errors of the weak hypotheses returned by weak learn algorithm“—解释为什么叫AdaBoost。
　　下面详细介绍一下AdaBoost的推导过程，此过程了解后，Adaboost的基本也就没问题了。Adaboost (adaptive boosting)利用的是boosting的思想，将多个弱分类器集成为一个强分类器。＼
http://private.codecogs.com/latex/eqneditor.php（公式编辑及转换为Latex）

AdaBoost算法原理推导

AdaBoost的分类器由多个弱分类器组成.
　　$C_m(X_i)=C_{(m-1)}(X_i)+{\alpha }_m\ast K_m(X_i)$
　　${\alpha }_m$ 是当前分类器$K_m$的权重。
　　$C_m(X_i)$是m个弱分类器集成后的分类器。
　　假设是二分类问题，选择指数loss function, 错判的代价为$e^{\beta }$，对判的代价为$e^{-\beta }$。其中$\beta >0$。
　　总代价: 训练本次弱分类器，总体模型的代价都计算在内。
　　$E=\sum w_i{e}^{-y_i\ast C_m(X_i)}$每条样本的权重都计算在内
　　$=\sum w_i{e}^{-y_i\ast [C_{m-1}(X_i)+{\alpha }_m\ast K_m(X_i)]}$
　　令$W_i^m=w_i{e}^{-y_i\ast C_{m-1}(X_i)}$
　　$=\sum W_i^m\ast e^{-y_i\ast {\alpha }_m\ast K_m(X_i)}$
　　$={\sum }_{i=1}^N{W}_i^m\ast e^{-y_i\ast {\alpha }_m\ast K_m(X_i)}$
　　$={\sum }_{y_i=K_m}{W}_i^m\ast e^{-{\alpha }_m}+{\sum }_{y_i̸=K_m}{W}_i^m\ast e^{+{\alpha }_m}$
　　令${\sum }_{y_i=K_m}{W}_i^m=W_c$
　　令${\sum }_{y_i̸=K_m}{W}_i^m=W_e$
　　$=W_c\ast e^{-{\alpha }_m}+W_e\ast e^{{\alpha }_m}$
　　进一步推导，得出如何用总体的代价，得到当前迭代弱分类器的代价。
　　$e^{{\alpha }_m}\ast E=W_c+W_e\ast e^{2\ast {\alpha }_m}$
　　$e^{{\alpha }_m}\ast E=(W_c+W_e)+W_e\ast (e^{2\ast \alpha }-1)$
　　上式中，在本轮迭代中$W_c+W_e=W$是固定值，只需要减少$W_e$即可。（这里给出了单个弱学习器的目标代价函数$W_e$）
　　==========================================================
　　解释下，为什么在伪代码中单个弱学习器为什么只需要降低${\sum }_{y_i̸=K_m}{w}_i$即可。
　　已知：$W_c+W_e=W=\sum W_i^m=\sum w_i{e}^{-y_i\ast C_{m-1}}$是固定值；
　　则 W e ↓ ⟶ { e α m E } ↓ W_e \downarrow \longrightarrow \{ e^{\alpha_m}E\} \downarrow We​↓⟶{eαm​E}↓；
　　其中$W_e={\sum }_{y_i̸=K_m}{W}_i^m={\sum }_{y_i̸=K_m}{w}_i{e}^{-y_i{C}_{m-1}}⩽上限值{\sum }_{y_i̸=K_m}{w}_{i}e$；
　　单个弱学习器的优化，只需要降低$W_e$的上限值${\sum }_{y_i̸=K_m}{w}_{i}e$即可；
　　同时上限值${\sum }_{y_i̸=K_m}{w}_{i}e\propto {\sum }_{y_i̸=K_m}{w}_i$，优化目标又可化为$min{\sum }_{y_i̸=K_m}{w}_i$。
　　==========================================================
　　如何确定本轮迭代的${\alpha }_m$值呢？
　　对总代价函数的${\alpha }_m$求导
　　$\frac{dE}{d{\alpha }_m}=-W_c\ast e^{-{\alpha }_m}+W_e\ast e^{{\alpha }_m}$
　　令上式等于0，则有
　　${\alpha }_m=\frac{1}{2}\ast \ln \frac{W_c}{W_e}⟶=\frac{1}{2}\ast \ln \frac{W-W_e}{W_e}⟶=\frac{1}{2}\ast \ln \frac{1-\frac{W_e}{W}}{\frac{W_e}{W}}$
　　其中，$\frac{W_e}{W}$是本轮迭代中$y_i̸=K_m$的样本权重之和在总权重之和的比例。注意这里不是误差率。
　　对判对和判错的样本的权重进行调整，以便之后的模型更关注那些判错的样本（对其误判之后代价更大）。
　　判错的样本权重增加$W_e=W_i^{m+1}=W_i^m\ast e^{{\alpha }_m}$
　　判对的样本权重降低$W_c=W_i^{m+1}=W_i^m\ast e^{-{\alpha }_m}$
　　截止到目前为止，AdaBoost的推导大体也就完成了，对其数学理论了解也够深入了。

AdaBoost伪代码（二分类问题）

1. 初始化样本权重Wi=1/N  i=1,2,3...N.
2. 训练弱学习器Km，使得We最小
   We = ∑ Wi ,其中条件为当前Km != y
3. 弱学习器的系数a
   em = We/W  ,其中W = ∑ Wi
   a = 1/2 * ln[(1-em)/em]
4. 更新样本权重
   Wi = Wi * e^(a), 判错的样本
   Wi = Wi * e^(-a), 判对的样本
5. 重复步骤2到步骤4，直到达到迭代次数M（或者是em小于某个值）。其中M意味着有M个弱学习器集成最后的强学习器。

每次迭代更新的是样本分布(re weight)，不是重采样。那么，我也弄明白了样本权重是怎么回事，是怎么用的。对AdaBoost又有了进一步的了解。

总结：

多个分类器加到一起，怎么加呢，每个分类器有个分类器权重$\alpha$，这样通过总分类器$C_m(X_i)$，构造一个指数代价函数$E={\sum }_{i=1}^N{e}^{-y_i\ast C_m(X_i)}$。代价函数$E$，同时给出了弱学习器的训练约束条件：$W_e$最小即可。对$E$的$\alpha$求导，可以推导出$\alpha$的计算公式。还要记得更新样本权重$W_i$,使得当前弱分类器下分错的样本权重更大，分对的更小。AdaBoost的全部核心东西就这几句话。