Adaboost算法推导

背景知识：

在介绍Adaboost之前先明确一些基本概念。集成学习（ensemble learning）通过构建并结合多个学习器来完成学习任务，它是一种思想，而不是一种具体算法，有多种不同的实现方案。个体学习器（individual learner）通常由一个现有的学习算法从训练数据中产生，例如决策树、BP神经网络等。如果集成学习中所有的个体学习器都是同种类型的，例如全是决策树，这样的集成是“同质”的，同质集成中的个体学习器亦称基学习器（base learner）。集成学也可包含不同类型的个体学习器，这样的集成是“异质”的，异质集成中的个体学习器常称为组件学习器（component learner）或直接称个体学习器。集成学习对弱学习器（weak learner）尤为明显，因此集成学习的许多理论研究都是针对弱学习器进行的，而基学习器有时也被直接称为弱学习器。但需要注意的是，在实践中出于种种考虑，也会使用比较强的学习器。
Boosting是一组可将弱学习器提升为强学习器的算法，这族算法的工作机制类似：先从初始训练集训练出一个基学习器，在根基基学习器的表现对训练样本分本进行调整，是的先前基学习器做错的训练样本在后续收到更多关注，然后基于调整后的样本分布来训练下一个基学习器，如此重复进行。Boosting族算法中最著名的代表是Adaboost。

Adaboost算法推导

1.AdaBoost算法基本模型

$$F(x\text{x}x)={\alpha }_1{h}_1(x\text{x}x;{\gamma }_1)+{\alpha }_2{h}_2(x\text{x}x;{\gamma }_2)+\dots +{\alpha }_t{h}_t(x\text{x}x;{\gamma }_t)=\sum _{t=1}^T{\alpha }_t{h}_t(x\text{x}x;{\gamma }_t)$$
每个弱分类器$h_t(x\text{x}x)$的分类结果映射为1和-1，${\alpha }_t$为每个弱分类器的权重，若$F(x\text{x}x)>0$，代表各个弱分类器经过加权后，在最终投票过程中，多数投1，少数投-1，最终判定样本为正样本。所以最终得到的分类器可以用符号函数表示：
$$sgn(F(x\text{x}x))=\{\begin{array}{ll}1& F(x\text{x}x)>0\\ -1& F(x\text{x}x)\le 0\end{array}$$
现在需要确定的参数为：弱分类器个数$T$、每一个弱分类器$h_t(x\text{x}x)$的参数${\gamma }_t$、每一个弱分类器的权重${\alpha }_t$。

2.算法流程

第一步：
给定$l$个样本$(x_i\text{xi}{x}_i,y_i)$，其中$x_i\text{xi}{x}_i$是特征向量，$y_i$是类别标签，其值为+1和-1。
第二步：
为数据集中的每一个样本初始化一个权重值，初始化方法为：$w_i^0=1/l,i=1,\dots ,l$。注释：$w$的上标表示第1个弱分类器，下标表示第$i$个样本；此时所有的样本权重相等。
第三步：
循环，对$t=1,\dots ,T$依次训练每个弱分类器
\qquad 训练一个弱分类器，使该弱分类器的误差函数最小，也就是分错的样本对应的权值之和最小：
$$e_t=\frac{{\sum }_{i=1}^l{w}_i^{t-1}|h_t(x_i\text{xi}{x}_i)-y_i|}{2{\sum }_{i=1}^l{w}_i^{t-1}}$$
注释：$e_t$表示误差函数；当弱分类器预测正确时$h_t(x_i\text{xi}{x}_i)与y_i$同号，差值为0；当弱分类器预测错误时，$h_t(x_i\text{xi}{x}_i)与y_i$异号，差值的绝对值为2；$w_i^{t-1}$为上一次迭代时每一个样本的权重值；
\qquad 计算弱分类器的权重：
$${\alpha }_t=\frac{1}{2}\log (\frac{1-e_t}{e_t})$$
\qquad 更新所有样本的权重：
$$w_i^t=\frac{w_i^{t-1}exp(-y_i{\alpha }_t{h}_t(x_i\text{xi}{x}_i))}{Z_t}$$
\qquad 其中$Z_t$为归一化因子，他是所有样本的权重之和：
$$Z_t=\sum _{i=1}^l{w}_i^{t-1}exp(-y_i{\alpha }_t{h}_t(x_i\text{xi}{x}_i))$$
结束循环：
第四步：得到强分类器
$$sign(F(x\text{x}x))=sgn(\sum _{t=1}^T{\alpha }_t{h}_t(x\text{x}x))$$

3.Adaboost算法证明：

3.1随着迭代的进行，强分类器的误差函数会以指数级下降

思考这样一个问题：在一般的经验中，如果把好坏不等的东西掺在一起，那么通常结果会是比最坏的要好一些，比最好的要坏一些。那么集成学习把多个学习器结合起来，一定比最好的单一学习器的性能更好吗？
$$e_t=\frac{1}{l}\sum _{i=1}^l\mathbb{I}sgn(F(x_i\text{xi}{x}_i)\ne y_i\mathbb{I}\le \prod _{t=1}^T{Z}_t$$
注释：$\mathbb{I}.\mathbb{I}$为指示函数，为真输出1，为假输出0。
首先证明下面的不等式成立：
$$\mathbb{I}sgn(F(x_i\text{xi}{x}_i)\ne y_i\mathbb{I}\le exp(-y_{i}F(x_i\text{xi}{x}_i))$$
如果样本被分错则有：
$$\mathbb{I}sgn(F(x_i\text{xi}{x}_i)\ne y_i\mathbb{I}=1$$
样本被错分意味着$y_i$和$F(x_i\text{xi}{x}_i)$异号，因此：
$$-y_{i}F(x_i\text{xi}{x}_i)>0$$
从而有：
$$exp(-y_{i}F(x_i\text{xi}{x}_i))>exp(0)=1$$
如果样本被正确分类，则有：
$$\mathbb{I}sgn(F(x_i\text{xi}{x}_i)\ne y_i\mathbb{I}=0$$
而对任意的$x$都有$e^x>0$恒成立
按照权重更新公式，有：
$$w_i^t=\frac{w_i^{t-1}exp(-y_i{\alpha }_t{h}_t(x_i\text{xi}{x}_i))}{Z_t}$$
将等式两边同乘以归一化因子，可以得到:
$$w_i^{t-1}exp(-y_i{\alpha }_t{h}_t(x_i\text{xi}{x}_i))=w_i^t{Z}_t$$
反复利用上面这个等式，可以将$Z_t$提出。假设样本初始权重为$w_i^0=\frac{1}{l}$，因此有：
$$\frac{1}{l}\sum _{i=1}^{l}exp(-y_{i}F(x_i\text{xi}{x}_i))=\frac{1}{l}\sum _{i=1}^{l}exp(-y_i\sum _{t=1}^T{\alpha }_t{h}_t(x_i\text{xi}{x}_i))$$
$$=\sum _{i=1}^l{w}_i^{0}exp(-y_i\sum _{t=1}^T{\alpha }_t{h}_t(x_i\text{xi}{x}_i))$$
$$=\sum _{i=1}^l{w}_i^{0}exp(-y_i{\alpha }_1{h}_1(x_i\text{xi}{x}_i)exp(-y_i\sum _{t=2}^T{\alpha }_t{h}_t(x_i\text{xi}{x}_i))$$
$$=\sum _{i=1}^l{Z}_1{w}_i^{1}exp(-y_i\sum _{t=2}^T{\alpha }_t{h}_t(x_i\text{xi}{x}_i))$$
$$\dots$$
$$=\prod _{t=1}^T{Z}_t$$
结合前面两个结论，有：
$$\frac{1}{l}\sum _{i=1}^l\mathbb{I}sgn(F(x_i\text{xi}{x}_i)\ne y_i\mathbb{I}\le \frac{1}{l}\sum _{i=1}^{l}exp(-y_{i}F(x_i\text{xi}{x}_i))=\prod _{t=1}^T{Z}_t$$
其次证明下面的不等式成立：
$$\prod _{t=1}^T{Z}_t=\prod _{t=1}^{T}2\sqrt{e_t(1-e_t)}=\prod _{t=1}^T\sqrt{(1-4{\gamma }_t^2)}\le exp(-2\sum _{t=1}^T{\gamma }_t^2){\gamma }_t=\frac{1}{2}-e_t$$
根据误差函数和归一化因子的计算公式有：
$$Z_t=\sum _{i=1}^l{w}_i^{t-1}exp(-y_i{\alpha }_t{h}_t(x_i\text{xi}{x}_i))$$
$$Z_t=\sum _{i=1，y_i=h_t(x_i)}^l{w}_i^{t-1}exp(-{\alpha }_t)+\sum _{i=1，y_i\ne h_t(x_i)}^l{w}_i^{t-1}exp(-{\alpha }_t)$$
因为：
$$e_t=\frac{{\sum }_{i=1}^l{w}_i^{t-1}|h_t(x_i\text{xi}{x}_i)-y_i|}{2{\sum }_{i=1}^l{w}_i^{t-1}}=\sum _{i=1，y_i\ne h_t(x_i)}^l{w}_i^{t-1}$$
所以：
$$Z_t=(1-e_t)exp(-{\alpha }_t)+e_{t}exp(-{\alpha }_t)$$
由：
$${\alpha }_t=\frac{1}{2}\log (\frac{1-e_t}{e_t})$$
得出：
$$Z_t=2\sqrt{e_t(1-e_t)}=\sqrt{1-4{\gamma }_t^2},{\gamma }_t=\frac{1}{2}-e_t$$
当$e_t=0.5$时，$2\sqrt{e_t(1-e_t)}$有极大值1，既$Z_t=1$。弱分类器能够保证$e_t\le 0.5$，因此有$Z_t<1$。每增加一个弱分类器，强分类器误差函数的上界都会乘上一个小于1的因子，上述结论在理论上保证了算法在训练集上的误差上界会随着弱分类器个数的增加而减少。
接下来我们证明下面的不等式成立：
$$\sqrt{(1-4{\gamma }_t^2)}\le exp(-2{\gamma }_t^2)$$
等价证明：
$${\gamma }^2=x,x\ge 0$$
$$1-4x\le (e^{-2x}{)}^2$$
构造如下函数：
$$f(x)=(e^{-2x}{)}^2-1+4x$$
其导数为：
$$f\prime (x)=4-4(e^{-2x}{)}^2\ge 0$$
这是个增函数，且$x\ge 0$，当$x=0$时，$f(x)$取最小值为0，所以$f(x)\ge 0$
因此证明：$1-4x\le (e^{-2x}{)}^2$
最后证明：
$$e_t\le \exp (-2\sum _{t=1}^T{\gamma }_t^2)$$
最终得出结论：误差函数会以指数级下降。

3.2证明Adaboost算法，既证明为什么弱分类器的权重${\alpha }_t=\frac{1}{2}\log (\frac{1-e_t}{e_t})$，为什么权重更新公式为$w_i^t=w_i^{t-1}exp(-y_i{\alpha }_t{h}_t(x_i\text{xi}{x}_i))$

Adaboost算法由广义加法模型和指数损失函数导出。
广义加法模型是多个基函数的线性组合，模型参数包括基函数的参数以及权重：
$$F(x\text{x}x)=\sum _{t=1}^T{\alpha }_t{h}_t(x\text{x}x;{\gamma }_t),{\alpha }_t>0$$
优化的损失函数为：
$$mi{n}_{{\alpha }_t,{\gamma }_t}L(y_i,\sum _{t=1}^T{\alpha }_t{h}_t(x\text{x}x;{\gamma }_t))$$
训练时逐步迭代，依次确定每个基函数的参数（准则：分错的样本对应的权值之和最小）、权重值（后面做推导）。广义加法模型是一个抽象概念，基函数的形式不同，损失函数的形式不同，可以导出多种具体的机器学习算法。Adaboost的基函数使用的是决策树，损失函数使用的是指数损失函数。
指数损失函数：
$$L(y,F(x\text{x}x))=exp（-yF(x))$$
模型的预测值与样本的真实标签值越接近，其值越小 。
训练时的优化目标：
$$({\alpha }_t,h_t)=argmi{n}_{{\alpha }_t,h_t}\sum _{i=1}^{l}exp(-y_i{F}_t(x_i\text{xi}{x}_i))$$
$$({\alpha }_t,h_t)=argmi{n}_{{\alpha }_t,h_t}\sum _{i=1}^{l}exp(-y_i(F_{t-1}(x_i\text{xi}{x}_i)+{\alpha }_t{h}_t(x_i\text{xi}{x}_i)))$$
$$({\alpha }_t,h_t)=argmi{n}_{{\alpha }_t,h_t}\sum _{i=1}^{l}exp(-y_i{F}_{t-1}(x_i\text{xi}{x}_i))exp(-{\alpha }_t{y}_i{h}_t(x_i\text{xi}{x}_i))$$
之前得到的强分类器可以当作常数，因此损失函数是关于当前要训练的弱分类器以及弱分类器权重的函数：
令：
$$w_i^{t-1}=exp(-y_i{F}_{t-1}(x_i\text{xi}{x}_i))$$
得出优化的损失函数：
$$mi{n}_{{\alpha }_t,h_t}\sum _{i=1}^l{w}_i^{t-1}exp(-{\alpha }_t{y}_i{h}_t(x_i\text{xi}{x}_i))$$
分段优化，首先将弱分类器权重当作常数，寻找最优的弱分类器。只有当弱分类器的预测值与样本的真实标签值一致时，函数有极小值。
$$h_t=argmi{n}_h\sum _{i=1}^l{w}_i^{t-1}I(y_i\ne h(xi\text{xi}xi))$$
注释：$I(y_i\ne h(xi\text{xi}xi))$的意思是满足条件取1，不满足条件取0，为取得最小值尽量不去满足条件（尽量让$y_i=h(xi\text{xi}xi)$），从而取得更多的0。
得到弱分类器后，在优化它的权重系数。
之前的优化函数为：
$$mi{n}_{{\alpha }_t,h_t}\sum _{i=1}^l{w}_i^{t-1}exp(-{\alpha }_t{y}_i{h}_t(x_i\text{xi}{x}_i))$$
在此基础上分为预测正确和预测错误两部分：
$$e^{-{\alpha }_t}\sum _{yi=h_t(x_i)}{w}_i^{t-1}+e^{{\alpha }_t}\sum _{yi\ne h_t(x_i)}{w}_i^{t-1}$$

$$=e^{-{\alpha }_t}\sum _{yi=h_t(x_i)}{w}_i^{t-1}+e^{-{\alpha }_t}\sum _{yi\ne h_t(x_i)}{w}_i^{t-1}-e^{-{\alpha }_t}\sum _{yi\ne h_t(x_i)}{w}_i^{t-1}+e^{{\alpha }_t}\sum _{yi\ne h_t(x_i)}{w}_i^{t-1}$$
$$=e^{-{\alpha }_t}\sum _{i=1}^l{w}_i^{t-1}+(e^{{\alpha }_t}-e^{-{\alpha }_t})\sum _{yi\ne h_t(x_i)}{w}_i^{t-1}$$
$$=e^{-{\alpha }_t}\sum _{i=1}^l{w}_i^{t-1}+(e^{{\alpha }_t}-e^{-{\alpha }_t})\sum _{i=1}^l{w}_i^{t-1}I(y_i\ne h(xi\text{xi}xi))$$
损失函数为：
$$L({\alpha }_t)=e^{-{\alpha }_t}\sum _{i=1}^l{w}_i^{t-1}+(e^{{\alpha }_t}-e^{-{\alpha }_t})\sum _{i=1}^l{w}_i^{t-1}I(y_i\ne h(xi\text{xi}xi))$$
求解损失函数的最小值，在极值点处导数必须为0：
$$(e^{{\alpha }_t}+e^{-{\alpha }_t})\sum _{i=1}^l{w}_i^{t-1}I(y_i\ne h(xi\text{xi}xi))-e^{-{\alpha }_t}\sum _{i=1}^l{w}_i^{t-1}=0$$
两边同除以${\sum }_{i=1}^l{w}_i^{t-1}$,化简得：
$$(e^{{\alpha }_t}+e^{-{\alpha }_t})er{r}_t-e^{-{\alpha }_t}=0$$
$$er{r}_t=\frac{{\sum }_{i=1}^l{w}_i^{t-1}I(y_i\ne h(xi\text{xi}xi))}{{\sum }_{i=1}^l{w}_i^{t-1}}$$
最优解为：
$${\alpha }_t=\frac{1}{2}\log \frac{1-er{r}_t}{er{r}_t}$$

4.Adaboost实现的几个细节：

4.1弱分类器的选择

选择的原则：简单，精度不用太高（要大于50%），要用非线性的
一般用决策树，而且深度很小

4.2弱分类器的数量

前面的3.1已经证明，随着迭代的进行，强分类器的误差函数会以指数级下降，通常的做法是指定一个阈值（例如0.95），当训练样本的准确率大于此阈值的时候，停止迭代。如果继续迭代，可能出现过拟合的现象。

4.3样本权重削减

随着迭代的进行，被正确分类的样本权重越来越小，趋向于0，对后续的训练作用不大，可以剔除这些权重非常小的样本。常用的做法是，对所有样本的权重值从小到大排序，将最小端的一定比例的样本（例如将权重值最小的10%的样本）削减掉。