AdaBoost算法的推导以及误差分析

本文利用向前分布算法详细推导AdaBoost算法。首先对向前分布向前分布算法进行的简单介绍。

向前分布算法

向前分布算法学习得到的是加法模型：
$$f(x)=\sum _{m=1}^M{\alpha }_{m}G(x;{\gamma }_m)$$
其中,$G(x;{\gamma }_m)$是基学习器，${\gamma }_m$为基学习器参数，${\alpha }_m$为基学习器的系数。
向前分步算法由前往后，逐步增加一个基学习器以及它的系数，去极小化下面的损失函数：
$$mi{n}_{{\gamma }_m,{\alpha }_m}\sum _{i=1}^{N}L(y_i,\sum _{k=1}^{m-1}{\alpha }_{k}G(x_i,{\gamma }_k)+{\alpha }_{m}G(x_i,{\gamma }_m))$$
其中N是样本个数，$(x_i,y_i)$是样本，$L(y,f(x))$是损失函数。
注意到给定样本数据集以及损失函数即可按照向前分布算法学习到一个加法模型

推导过程

当向前分步算法选择的是指数损失函数
$$L(y,f(x))=exp(-yf(x))$$
指数损失函数与分类错误率$err$的关系：

$$\begin{array}{rl}\sum _{i=1}^{N}L(y_i,f(x_i))& =\sum _{i=1}^{N}exp(-y_{i}f(x_i))\\ & =\sum _{i=1}^{N}exp(-y_{i}f(x_i))I(y_i\ne f(x_i))+\sum _{i=1}^{N}exp(-y_{i}f(x_i))I(y_i=f(x_i))\\ & =\sum _{i=1}^{N}eI(y_i\ne f(x_i))+\sum _{i=1}^N{e}^{-1}I(y_i=f(x_i))\\ & =\sum _{i=1}^{N}eI(y_i\ne f(x_i))+e^{-1}(N-\sum _{i=1}^{N}I(y_i\ne f(x_i)))\\ & =(e-e^{-1})\sum _{i=1}^{N}I(y_i\ne f(x_i))+e^{-1}N\\ & =N(e-e^{-1})err+e^{-1}N\end{array}$$
假设，m-1次迭代得到
$$f_{m-1}(x)={\alpha }_1{G}_1+{\alpha }_2{G}_2+....+{\alpha }_{m-1}{G}_{m-1}$$
第$m$次迭代得到的$({\alpha }_m,G_m)$由下式求得
$$({\alpha }_m,G_m)=argmi{n}_{\alpha ,G}\sum _{i=1}^{N}exp(-y_i(f_{m-1}(x_i)+\alpha y_{i}G(x_i)))$$
令${\bar{\omega }}_{mi}=-y_i(f_{m-1}(x_i))$,${\bar{\omega }}_{mi}$与$(\alpha ,G)$无关，随着每轮迭代更新,于是有
$$({\alpha }_m,G_m)=argmi{n}_{\alpha ,G}\sum _{i=1}^N{\bar{\omega }}_{mi}exp(-\alpha y_{i}G(x_i)))（\ast ）$$
对任意$\alpha >0$,有
$$\begin{array}{rl}\sum _{i=1}^N{\bar{\omega }}_{mi}exp(-\alpha y_{i}G(x_i))& =\sum _{i=1}^N{\bar{\omega }}_{mi}{e}^{\alpha }I(y_i\ne G(x_i))+\sum _{i=1}^N{\bar{\omega }}_{mi}{e}^{-\alpha }I(y_i=G(x_i))\\ & =\sum _{i=1}^N{\bar{\omega }}_{mi}{e}^{\alpha }I(y_i\ne G(x_i))+e^{-\alpha }(\sum _{i=1}^N{\bar{\omega }}_{mi}-\sum _{i=1}^N{\bar{\omega }}_{mi}I(y_i\ne G(x_i))\\ & =e^{-\alpha }\sum _{i=1}^N{\bar{\omega }}_{mi}+(e^{\alpha }-e^{-\alpha })\sum _{i=1}^N{\bar{\omega }}_{mi}I(y_i\ne G(x_i))(\ast \ast )\end{array}$$
由$(e^{\alpha }-e^{-\alpha })>0$，可知使$(\ast )$式最小的$G(x)$为
$$G_m=argmi{n}_G\sum _{i=1}^N{\bar{\omega }}_{mi}I(y_i\ne G(x_i))$$
再继续求${\alpha }_m$，对$(\ast \ast )$式关于$\alpha$求导，并令其大于0，得到
$$\alpha >\frac{1}{2}log\frac{1-er{r}_m}{er{r}_m}$$
$er{r}_m$为$G_m$在数据集上的加权误差率，等于
$$er{r}_m=\frac{{\sum }_{i=1}^N{\bar{\omega }}_{mi}I(y_i\ne G(x_i))}{{\sum }_{i=1}^N{\bar{\omega }}_{mi}}=\sum _{i=1}^N{\omega }_{mi}I(y_i\ne G(x_i))$$

即当${\alpha }_m=\frac{1}{2}log\frac{1-er{r}_m}{er{r}_m}$时，$(\ast \ast )$取最小值。我们认弱分类器的误差率$er{r}_m$小于1/2，即优于随机猜测的结果,故${\alpha }_m>0$。
得到模型迭代结果
$$f_m(x)=f_{m-1}(x)+{\alpha }_m{G}_m(x)$$
简单总结一下整个算法的过程：
输入：训练数据集： { ( x i , y i ) } i = 1 , 2 , . . . , N \{(x_{i},y_{i})\}_{i=1,2,...,N} {(xi​,yi​)}i=1,2,...,N​，$x_i\in \chi \subseteq R^n,y_i=\pm 1$
           ~~~~~~~~~~           损失函数：$L(y,f(x))=exp(-yf(x))$
1.初始化$f_0(x)=0$；
2.计算权值${\bar{\omega }}_{mi}=exp(-y_i{f}_{m-1}(x_i)),m\ge 1,i=1,...,N$;
3.求基分类器$G_m=argmi{n}_G{\sum }_{i=1}^N{\bar{\omega }}_{mi}I(y_i\ne G(x_i))$;
4.求分类误差率：$er{r}_m=\frac{{\sum }_{i=1}^N{\bar{\omega }}_{mi}I(y_i\ne G(x_i))}{{\sum }_{i=1}^N{\bar{\omega }}_{mi}}$;
5.求分类器系数：${\alpha }_m=\frac{1}{2}log\frac{1-er{r}_m}{er{r}_m}$；
6.得到AdaBoost模型：$f_m(x)=f_{m-1}(x)+{\alpha }_m{G}_m(x)$

令$${\omega }_{m+1i}=\frac{w_{mi}}{Z_m}exp(-{\alpha }_m{y}_i{G}_m(x_i)),i=1,...,N$$
$${\omega }_{1i}=\frac{1}{N},,i=1,...,N$$
其中$Z_m$是规范化因子
$$Z_m=\sum _{i=1}^N{\omega }_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))$$
则对任意$m\ge 1$,有
$${\omega }_{mi}=\frac{{\bar{\omega }}_{mi}}{{\sum }_{i=1}^N{\bar{\omega }}_{mi}}$$

即${\omega }_{mi}$和${\bar{\omega }}_{mi}$之间只相差一个规范化因子

$$\begin{array}{rl}\frac{{\bar{\omega }}_{mi}}{{\sum }_{i=1}^N{\bar{\omega }}_{mi}}& =\frac{\frac{1}{N}{\Pi }_{k=1}^{m-1}exp(-y_i{\alpha }_k{G}_k(x_i))}{\frac{1}{N}{\sum }_{i=1}^N{\Pi }_{k=1}^{m-1}exp(-y_i{\alpha }_k{G}_k(x_i))}(1)\\ & =\frac{\frac{1}{N}{\Pi }_{k=1}^{m-1}exp(-y_i{\alpha }_k{G}_k(x_i))}{{\sum }_{i=1}^N{\omega }_{2i}{Z}_1{\Pi }_{k=2}^{m-1}exp(-y_i{\alpha }_k{G}_k(x_i))}(2)\\ & =\frac{\frac{1}{N}{\Pi }_{k=1}^{m-1}exp(-y_i{\alpha }_k{G}_k(x_i))}{{\sum }_{i=1}^N{\omega }_{3i}{Z}_1{Z}_2{\Pi }_{k=3}^{m-1}exp(-y_i{\alpha }_k{G}_k(x_i))}(3)\\ & =......(4)\\ & =\frac{\frac{1}{N}{\Pi }_{k=1}^{m-1}exp(-y_i{\alpha }_k{G}_k(x_i))}{Z_1{Z}_2...Z_{m-1}}(5)\\ & =\frac{{\omega }_{2i}{\Pi }_{k=2}^{m-1}exp(-y_i{\alpha }_k{G}_k(x_i))}{Z_2...Z_{m-1}}\\ & =\frac{{\omega }_{3i}{\Pi }_{k=3}^{m-1}exp(-y_i{\alpha }_k{G}_k(x_i))}{Z_3...Z_{m-1}}\\ & =...\\ & =\frac{{\omega }_{m-1i}exp(-y_i{\alpha }_{m-1}{G}_{m-1}(x_i))}{Z_{m-1}}\\ & ={\omega }_{mi}\end{array}$$
即${\bar{\omega }}_{mi}$和${\omega }_{mi}$之间只相差一个规范化因子，对求$G_m$无影响，故算法可以变为

输入：训练数据集： { ( x i , y i ) } i = 1 , 2 , . . . , N \{(x_{i},y_{i})\}_{i=1,2,...,N} {(xi​,yi​)}i=1,2,...,N​，$x_i\in \chi \subseteq R^n,y_i=\pm 1$
           ~~~~~~~~~~           损失函数：$L(y,f(x))=exp(-yf(x))$
1.初始化$f_0(x)=0$；
2.计算权值${\omega }_{mi}=\frac{{\omega }_{m-1,i}exp({\alpha }_{m-1}{y}_i{G}_{m-1}(x_i))}{Z_{m-1}},m\ge 1,i=1,...,N$;
3.求基分类器$G_m=argmi{n}_G{\sum }_{i=1}^N{\omega }_{mi}I(y_i\ne G(x_i))$;
4.求分类误差率：$er{r}_m={\sum }_{i=1}^N{\omega }_{mi}I(y_i\ne G(x_i))$;
5.求分类器系数：${\alpha }_m=\frac{1}{2}log\frac{1-er{r}_m}{er{r}_m}$；
6.得到AdaBoost模型：$f_m(x)=f_{m-1}(x)+{\alpha }_m{G}_m(x)$

误差分析

AdaBoost的分类误差：
$$\frac{1}{N}\sum _{i=1}^{N}I(f(x_i)\ne y_i)\le exp(-2\sum _{m=1}^M{\gamma }_m^2)$$
其中${\gamma }_m=\frac{1}{2}-e_m，f(x)={\sum }_{k=1}^m{\alpha }_k{G}_k(x)$
证明：
首先证明$\frac{1}{N}{\sum }_{i=1}^{N}I(f(x_i)\ne y_i)\le {\Pi }_{k=1}^m{Z}_k$
当$y_i=f(x_i)$时
$$I(f(x_i)\ne y_i)=0\le exp(-y_{i}f(x_i))$$
当$y_i\ne f(x_i)$时
$$I(f(x_i)\ne y_i)=exp(-y_{i}f(x_i))=1$$

故
$$\frac{1}{N}\sum _{i=1}^{N}I(f(x_i)\ne y_i)\le \frac{1}{N}\sum _{i=1}^{N}exp(-y_{i}f(x_i))$$
又由式$(1)(2)(3)(4)(5)$可知
$$\frac{1}{N}\sum _{i=1}^{N}exp(-y_{i}f(x_i))={\Pi }_{k=1}^m{Z}_k$$
其次证明： ${\Pi }_{k=1}^m{Z}_k\le exp(-2{\sum }_{k=1}^m{\gamma }_k^2)$
$\forall k,1\le k\le m$，有
$$\begin{array}{rl}{Z}_k& =\sum _{j=1}^k{\omega }_{ki}exp(-{\alpha }_k{y}_i{G}_k(x_i))\\ & =\sum _{G_k(x_i)=y_i}{\omega }_{ki}{e}^{-{\alpha }_k}+\sum _{G_k(x_i)\ne y_i}{\omega }_{ki}{e}^{{\alpha }_k}\\ & =(1-e_k)e^{-{\alpha }_k}+e_k{e}^{{\alpha }_k}\\ & =2(e_k(1-e_k){)}^{\frac{1}{2}}\\ & =(1-4{\gamma }_k^2{)}^{\frac{1}{2}}\end{array}$$
于是
$${\Pi }_{k=1}^m{Z}_k={\Pi }_{k=1}^m(1-4{\gamma }_k^2{)}^{\frac{1}{2}}$$
对$\forall k,1\le k\le m$，只需证明
$$(1-4{\gamma }_k^2{)}^{\frac{1}{2}}\le exp(-2{\gamma }_k^2)(\ast )$$
即有

$${\Pi }_{k=1}^m{Z}_k={\Pi }_{k=1}^m(1-4{\gamma }_k^2{)}^{\frac{1}{2}}\le exp(-2\sum _{k=1}^m{\gamma }_k^2)$$
对$(\ast )$式两边加对数，得
$$\frac{1}{2}ln(1-4{\gamma }_k^2)\le -2{\gamma }_k^2$$
对$ln(1-4{\gamma }_k^2)$进行泰勒展开，得
$$ln(1-4{\gamma }_k^2)=-4{\gamma }_k^2-\frac{(-4{\gamma }_k^2{)}^2}{2}+\frac{(-4{\gamma }_k^2{)}^3}{3}-...-\frac{4{\gamma }_k^2}{n}-...$$
故有

$$\frac{1}{2}ln(1-4{\gamma }_k^2)\le -2{\gamma }_k^2$$
证毕。

注意：
当存在$\gamma >0$,使得对任意$k$，均满足${\gamma }_k\ge \gamma$时，即对所有基分类器的误差率都小于某个小于$\frac{1}{2}$时，有

$$\frac{1}{N}\sum _{i=1}^{N}I(f(x_i)\ne y_i)\le exp(-2m{\gamma }^2)$$
即AdaBoost算法的误差率随者迭代次数的增加以指数的形式下降。

正则化

为了防止过拟合，在AdaBoost算法弱分类器的迭代过程中加入正则化项$v$，即
$$f_m(x)=f_{m-1}(x)+v{\alpha }_m{G}_m(x)$$
其中$v$称为步长，$v$越小，所需要的迭代次数越高，通常用步长和迭代的最高次数决定算法的拟合效果。

优缺点

优点：
1）分类正确率高；
2）不易发生过拟合；
3）基于AdaBoost的框架，可以利用各种分类回归学习器构建弱学习器，通常使用决策树和神经网络。
缺点：
1）对噪声敏感，对于异样的样本可能会赋予很高的权重。