AdaBoost算法介绍与证明，带你入门数据科学

摘要

历史上，Kerans和Vialiant首先提出了“强可学习”和“弱可学习”的概念。指出：在概率近似正确（PAC）学习的框架内，一个类，如果存在一个多项式的学习算法能够学习它，并且正确率很高，那么就称这个概念是强可学习的；一个概念，如果存在一个多项式的学习算法能够学习它，学习的正确率仅比随机猜测略好，那么就称这个概念是弱可学习的。
有没有一种方法可以把弱学习算法提升为强学习算法呢，AdaBoost就是这样的一个算法。

Adaboost算法介绍与证明，带你入门数据科学

什么是adaBoost

AdaBoost，是英文"Adaptive Boosting"（自适应增强）的缩写，由Yoav Freund和Robert Schapire在1995年提出。它的自适应在于：前一个基本分类器分错的样本会得到加强，加权后的全体样本再次被用来训练下一个基本分类器。同时，在每一轮中加入一个新的弱分类器，直到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。
AdaBoost的思想是讲关注点放在被错误分类的样本上，减少上一轮被正确分类的样本的权重，提高被错误分类的样本权重。
AdaBoost采用加权投票的方法，分类误差小的弱分类器的权重大，而分类误差大的若分类器的权重小。
图中样本的大小，代表样本的权重。具体训练过程如下图所示。前三个是训练得到的弱分类器，最后一个是弱分类器合起来得到的强分类器。

算法流程

假设输入训练数据为： T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}其中： x i ∈ X ⊆ R n , y i ∈ Y = { − 1 , 1 } x_i \in X \subseteq R^n,y_i\in Y=\{-1,1\} xi​∈X⊆Rn,yi​∈Y={−1,1},迭代次数即弱分类器个数为$M$。

1. 初始化训练样本的权重分布为：$$D_1=(w_{11},w_{12},\cdots ,w_{1N}),w_{1i}=\frac{1}{N},i=1,2,\cdots ,N$$其中$D_1$代表第一个弱分类器，里面的权重都是样本对于第一个弱分类器的权重。
2. 对于$m=1,2,\cdots ,M$。$M$代表一共有多少个弱分类器。
   (a)使用具有权重分布$D_m$（这个权重在上一次训练完一个设置好了）的训练数据集进行学习，得到弱分类器$G_m(x)$
   (b)计算$G_m(x)$在训练数据集上的分类误差率：$$e_m=\sum _{i=1}^N{w}_{mi}I(G_m(x_i)\ne y_i)$$其中$I$代表的是指示函数（indicator function）。它的含义是：当输入为True的时候，输出为1，输入为False的时候，输出为0。
   (c)计算$G_m(x)$在强分类器中所占的比重：$${\alpha }_m=\frac{1}{2}ln\frac{1-e_m}{e_m}$$对其求导我们可以得到$a_m^{\prime }=-\frac{1}{2}\frac{1}{(1-e_m)e_m}$。所以我们知道这个函数在(0,1)单调递减，所以误差越小分类器所占的比重越大。
   (d)更新训练数据集的权重分布（这里，$z_m$是归一化因子，为了使样本的概率分布和为1）：$$\begin{gathered} w_{(m+1)i}=\frac{w_{mi}}{z_m}exp(-\alpha y_i{G}_m(x_i)),i=1,2,\cdots ,N \\ {z}_m=\sum _{i=1}^N{w}_{mi}exp(-\alpha y_i{G}_m(x_i)) \end{gathered}$$其中，当分类正确的时候，预测与实际同号，$y_i{G}_m(x_i)>0$，错误的时候预测与实际异号$y_i{G}_m(x_i)<0$，而且越接近真实值，这个数就越大，这样就达到了给错误的数据更大的权重的效果。
3. 得到最终的分类器为：$$F(x)=sign(\sum _{m=1}^M{\alpha }_m{G}_m(x))$$其中${\alpha }_m$代表对于分类器的权重。

前置知识

前向分布算法

考虑加法模型$$f(x)=\sum _{m=1}^M{\beta }_{m}b(x;{\gamma }_m)$$其中，$b(x;{\gamma }_m)$为基函数，${\gamma }_m$为基函数的参数，${\beta }_m$为基函数的系数。显然，这是一个加法模型。
在给定训练数据及损失函数$L(y,f(x))$的条件下，学习加法模型$f(x)$成为经验风险极小化即损失函数极小化问题：$$min\sum _{i=1}^{N}L\left(y_i,\sum _{m=1}^M{\beta }_{m}b(x_i;{\gamma }_m)\right)$$这通常是一个复杂的优化问题。前向分布算法求解这一优化问题的想法是：因为学习得是加法模型，如果能够从前向后，每一步只学习一个基函数及其系数。逐步逼近优化目标函数式，那么就可以简化优化的复杂度。具体地，只需要每步优化如下损失函数：$$({\beta }_m,{\gamma }_m)=argmin\sum _{i=1}^{N}L(y_i,\beta b(x_i;\gamma ))$$这样，前向分布算法将同时求解从$m=1$到$M$所有参数${\beta }_m,{\gamma }_m$的优化问题简化为逐次求解各个${\beta }_m,{\gamma }_m$的优化问题。

算法证明

我们下面要证明AdaBoost算法是前向分布加法算法的特例。我先提出两个问题。

1. 为什么求L的时候基函数前面要有$\beta$?AdaBoost用的可不只是最后一项啊?
2. 说他是前向分布加法模型，但是前向分布加法模型似乎没有改变数据的权重？

定理：AdaBoost算法是前向分布加法算法的特例。这时，模型是由基本分类器组成的加法模型，损失函数是指数函数。
证明：
假设经过$m-1$轮迭代，得到弱分类器$f_{m-1}(x)$，根据前向分布，有：$$f_m(x)=f_{m-1}(x)+{\alpha }_m{G}_m(x)$$其中$G_m(x)$是第$m$轮训练出来的弱分类器。
对$Loss$函数进行处理和化简：
损失函数是指数损失，则有：$$Loss=\sum _{i=1}^{N}exp(-y_i{f}_m(x_i))=\sum _{i=1}^{N}exp(-y_i(f_{m-1}(x_i)+{\alpha }_m{G}_m(x_i)))$$因为$f_{m-1}(x)$是已知的，所以将其移到前面作为常数项：$$Loss=\sum _{i=1}^H\widetilde{w_{m1}}exp(-y_i{\alpha }_m{G}_m(x_i))$$其中：$\widetilde{w_{mi}}=exp(-y_i(F_{m-1}(x)))$是每轮迭代的样本权重。
继续化简$Loss$：$$\begin{array}{rl}Loss& =\sum _{i=1}^H\widetilde{w_{m1}}exp(-y_i{\alpha }_m{G}_m(x_i))\\ & =\sum _{y_i=G_m(x_i)}\widetilde{w_{mi}}exp(-{\alpha }_m)+\sum _{y_i\ne G_m(x_i)}\widetilde{w_{mi}}exp({\alpha }_m)\\ & =\sum _{i=1}^N\widetilde{w_{mi}}\left(\frac{{\sum }_{y_i=G_m(x_i)}\widetilde{w_{mi}}}{{\sum }_{i=1}^N\widetilde{w_{mi}}}exp(-{\alpha }_m)+\frac{{\sum }_{y_i\ne G_m(x_i)}\widetilde{w_{mi}}}{{\sum }_{i=1}^N\widetilde{w_{mi}}}exp({\alpha }_m)\right)\end{array}$$因为我们要使得损失函数最小，所以我们的目标是找到$({\alpha }_m^{\ast },G_m^{\ast })=argminLoss$。其中${\alpha }_m^{\ast }$是这个分类器的权重，$G_m^{\ast }$代表这个分类器。
我们先计算${\alpha }_m^{\ast }$:
我们观察上面的式子，设我们预测的错误率为$e_m$，则上述式子可以表示为以下形式$$Loss=\sum _{i=1}^N{w}_{mi}((1-e_m)exp(-{\alpha }_m)+e_{m}exp({\alpha }_m))$$对${\alpha }_m$求偏导，得到：$$Los{s}^{\prime }=w_{mi}(-(1-e_m)exp(-{\alpha }_m)+e_{m}exp({\alpha }_m))$$令其等于$0$得到：$${\alpha }_m^{\ast }=\frac{1}{2}log\frac{1-e_m}{e_m}$$我们发现这个权重和AdaBoost算法的权重一样。
**下面我们计算$G_m(x_i)$：**我们观察可以发现$G_m^{\ast }$的计算与${\alpha }_m^{\ast }$无关，加权后的正确率越高，损失值就越小，我们不难得出以下式子：$$G_m^{\ast }=argmin\sum _{i=1}^N\widetilde{w_{mi}}I(y_i\ne G(x_i))$$这个计算的过程也是和AdaBoost是一样的。
最后来看样本权重的更新：$$f_m(x)=f_{m-1}(x)+{\alpha }_m{G}_m(x)$$以及$\widetilde{w_{mi}}=exp(-y_i{f}_{m-1}(x_i))$，可得$$\widetilde{w_{(m+1)i}}=\widetilde{w_{mi}}exp(-y_i{\alpha }_m{G}_m(x))$$这个更新和AdaBoost算法的样本权重更新只相差归一化因子，所以也是等价的。
通过上述方法我们证明了AdaBoost算法是前向分布加法算法的特例。这时，模型是由基本分类器组成的加法模型，损失函数是指数函数。
前面提出的问题解答：
4. $\beta$对应于基函数的权重。是为了最小化损失函数而计算出来的，也就是上面的$\alpha$。
5. 其实样本权重的更新是在损失函数计算的时候进行的。前面的弱分类器的输出值在损失函数中取了指数后，变成了样本权重项。
6. 还是不太明白的话再看一遍证明吧