统计学习方法（7）前向分步算法推导AdaBoost的详细过程

由前向分步算法可以推导AdaBoost，用定理叙述这一关系：

定理：
AdaBoost算法是前向分步加法算法的特例。这时，模型是由基本分类器组成的加法模型，损失函数是指数函数。

证明：
前向分步算法学习的是加法模型，当基函数为基本分类器时，该加法模型等价于AdaBoost的最终分类器：
$$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$
由基本分类器$G_m(x)$及其系数${\alpha }_m$组成，$m=1,2,\dots ,M$。前向分步算法逐一学习基函数，这一过程与AdaBoost 算法逐一学习基本分类器的过程一致。下面证明前向分步算法的损失函数是指数损失函数（exponential loss function）：
$$L(y,f(x))=exp[-yf(x)]$$时，其学习的具体操作等价于AdaBoost算法学习的具体操作。

假设经过$m-1$轮迭代前向分步算法已经得到$f_{m-1}(x)$：
$$\begin{array}{rl}{f}_{m-1}(x)& =f_{m-2}(x)+{\alpha }_{m-1}{G}_{m-1}(x)\\ & ={\alpha }_1{G}_1(x)+...+{\alpha }_{m-1}{G}_{m-1}(x)\end{array}$$

在第m轮迭代得到${\alpha }_m$，$G_m(x)$和$f_m(x)$：
$$f_m(x)=f_{m-1}(x)+{\alpha }_m{G}_m(x)$$
目标是使前向分步算法得到的${\alpha }_m$和$G_m(x)$使$f_m(x)$在训练集T上的指数损失最小，即：
$$\begin{array}{rl}({\alpha }_m,G_m(x))& =\arg \underset{\alpha ,G}{\min }\sum _{i=1}^{N}L(y_i,f_m(x))\\ & =\arg \underset{\alpha ,G}{\min }\sum _{i=1}^{N}exp[-y_i(f_{m-1}(x_i)+\alpha G(x_i))]\end{array}\text{\hspace{1em}(1)}$$

注：
对于回归问题，前向分步算法的损失函数可以选平方损失，即
$$L(y_i,f(x))=(y_i-f(x){)}^2$$
所以有：
$$\begin{array}{rl}L(y_i,f_{m-1}(x_i)+\alpha G(x_i))& =(y_i-f_{m-1}(x_i)-\alpha G(x_i){)}^2\\ & =(r_{mi}-\alpha G(x_i){)}^2\end{array}$$
其中$r_{mi}=(y_i-f_{m-1}(x_i))$，这就是当前模型的残差，为了获取 $\alpha G(x_i)$，也就是令其去拟合当前模型的残差。
   \;
AdaBoost是个分类器，对于分类问题，平方损失就不太适合了。所以引入指数损失。

将（1）式写为：
$$\begin{array}{r}({\alpha }_m,G_m)=\arg \underset{\alpha ,G}{\min }\sum _{i=1}^N{\overline{w}}_{mi}exp(-\alpha y_{i}G(x_i))\end{array}\text{\hspace{1em}(2)}$$
其中，${\overline{w}}_{mi}=exp(-y_i{f}_{m-1}(x_i))$。因为${\overline{w}}_{mi}$既不依赖$\alpha$也不依赖于$G$，所以与最小化无关。但${\overline{w}}_{mi}$依赖于$f_{m-1}(x)$，随着每一轮迭代而发生改变。

现证使式（2）达到最小的${\alpha }_m^{\ast }$和$G_m^{\ast }(x)$就是AdaBoost算法所得到的${\alpha }_m$和$G_m(x)$。求解（2）式可分两步：

第一步：求$G_m^{\ast }(x)$：

因为 y i ∈ { − 1 , 1 } y_i∈\{−1,1\} yi​∈{−1,1}，且$y_i$要么等于$G(x_i)$，要么不等于，所以将上述公式拆成两部分。PS：暂时省略$argmin$。
$$\begin{array}{rl}\sum _{i=1}^N& {\overline{w}}_{mi}exp(-\alpha y_{i}G(x_i))\\ & =e^{-\alpha }\sum _{y_i=G_m(x_i)}{\overline{w}}_{mi}+e^{\alpha }\sum _{y_i≠G_m(x_i)}{\overline{w}}_{mi}\\ & =e^{-\alpha }\sum _{y_i=G_m(x_i)}{\overline{w}}_{mi}+e^{\alpha }\sum _{y_i≠G_m(x_i)}{\overline{w}}_{mi}+e^{-\alpha }\sum _{y_i≠G_m(x_i)}{\overline{w}}_{mi}-e^{-\alpha }\sum _{y_i≠G_m(x_i)}{\overline{w}}_{mi}\end{array}$$

上式合并，得到：
$$\begin{array}{r}(e^{\alpha }-e^{-\alpha })\sum _{i=1}^N{\overline{w}}_{mi}I(y_i≠G_m(x_i))+e^{-\alpha }\sum _{i=1}^N{\overline{w}}_{mi}\end{array}\text{\hspace{1em}(3)}$$

对于迭代的第$m$步，假设$\alpha$为常数，那么上式第二项以及$(e^{\alpha }-e^{-\alpha })$都可以看成常数，要让损失函数取得最小值，只需使${\sum }_{i=1}^N{\overline{w}}_{mi}I(y_i≠G_m(x_i))$取最小值。因此有：
$$G_m^{\ast }(x)=\arg \underset{G}{\min }\sum _{i=1}^N{\overline{w}}_{mi}I(y_i≠G(x_i))$$此分类器$G_m^{\ast }(x)$即为AdaBoost算法的基本分类器$G_m(x)$，因此它是第m轮加权训练数据分类误差率最小的基本分类器。

第二步：求${\alpha }_m^{\ast }$：

现假设$G_m$已知的情况下，回到公式(3)。此时的变量为$\alpha$，要让损失函数取得最小值，先对$\alpha$求偏导，得到：
$$\frac{{\partial }_L}{{\partial }_{\alpha }}=e^{\alpha }\sum _{i=1}^N{\overline{w}}_{mi}I(y_i≠G(x_i))+e^{-\alpha }\sum _{i=1}^N{\overline{w}}_{mi}I(y_i≠G(x_i))-e^{-\alpha }\sum _{i=1}^N{\overline{w}}_{mi}$$

再令$\frac{{\partial }_L}{{\partial }_{\alpha }}=0$，得：
$$e^{\alpha }\sum _{i=1}^N{\overline{w}}_{mi}I(y_i≠G(x_i))=[\sum _{i=1}^N{\overline{w}}_{mi}-\sum _{i=1}^N{\overline{w}}_{mi}I(y_i≠G(x_i))]e^{-\alpha }$$
对两边同求log，得到：
$$log\sum _{i=1}^N{\overline{w}}_{mi}I(y_i≠G(x_i))+log{e}^{\alpha }=log[\sum _{i=1}^N{\overline{w}}_{mi}-\sum _{i=1}^N{\overline{w}}_{mi}I(y_i≠G(x_i))]+log{e}^{-\alpha }$$

又因为$log{e}^{-\alpha }=-log{e}^{\alpha }$，所以有：
$$log{e}^{\alpha }=\frac{1}{2}log\frac{{\sum }_{i=1}^N{\overline{w}}_{mi}-{\sum }_{i=1}^N{\overline{w}}_{mi}I(y_i≠G(x_i))}{{\sum }_{i=1}^N{\overline{w}}_{mi}I(y_i≠G(x_i))}$$
解得：
$${\alpha }_m=\frac{1}{2}log\frac{{\sum }_{i=1}^N{\overline{w}}_{mi}-{\sum }_{i=1}^N{\overline{w}}_{mi}I(y_i≠G(x_i))}{{\sum }_{i=1}^N{\overline{w}}_{i}I(y_i≠G(x_i))}$$
又因为加权误差率：
$$e_m=\frac{{\sum }_{i=1}^N{\overline{w}}_{mi}I(y_i≠G(x_i))}{{\sum }_{i=1}^N{\overline{w}}_{mi}}$$
所以${\alpha }_m$可以写成
$${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}$$

求出了$G_m(x)$与${\alpha }_m$，就可以写出$f(x)$的更新公式：
$$f_m(x)=f_{m-1}(x)+{\alpha }_m{G}_m(x)$$

根据${\overline{w}}_{mi}=exp(-y_i{f}_{m-1}(x_i))$，可得$w$的更新公式：
$$\begin{array}{rl}{\overline{w}}_{m+1,i}& =exp(-y_i{f}_m(x_i))\\ & =exp(-y_i(f_{m-1}(x_i)+{\alpha }_m{G}_m(x_i)))\\ & ={\overline{w}}_{m,i}exp(-{\alpha }_m{y}_i{G}_m(x_i))\end{array}$$
这与AdaBoost算法的样本权值更新只差规范化因子，因而等价。

这也就推导出：当前向分步算法的损失函数为指数损失时，前向分步算法就是AdaBoost。

参考：
《统计学习方法》 李航
从前向分步算法推导出AdaBoost