Adaboost

Adaboost是集成学习中最常用的算法之一。该算法是损失函数为指数损失的前向分步加法模型。下面是这一结论的证明过程。

10.3 Forward Stagewise Additive Modeling

1. Initialize $f_0(x)$ = 0

2.For m =1 to M

a Compute

$$(\beta_m,\gamma_m)= arg \mathop{min}_{\beta, \gamma}\sum_{i-1}^N L(y_i,f_{m-1}(x_i)+\beta b(x_i;\gamma))$$
b set $f_m(x)=f_{m-1}(x)+\beta_m b(x;\gamma_m)$

该算法在每次迭代$m$中求解最优的基函数(basis function) $b(x;\gamma_m)$ 和对应的参数$\beta_m$加到当前的函数$f_{m-1}(x)$中，这样就生成了$f_m(x)$。前面的函数的权重不会被改变。

对于平方损失函数

$$L(y,f(x))=(y-f(x))^2$$
$$L(y_i,f_{m-1}(x_i)+\beta b(x_i;\gamma) ) = ( y_i - f_{m-1}(x_i) - \beta b(x_i;\gamma) )^2=(\gamma_{im} - \beta b(x_i; \gamma) )^2$$
其中， $\gamma_{im}=y_i-f_{m-1}(x_i)$就是当前模型在第i个样本上的残差。因此，对于平方损失函数来说，在每次迭代中拟合当前残差的最优的 $\beta b(x_i; \gamma)$加入到expansion 中。

10.4 Exponential Loss and Adaboost

Adaboost 算法

1.Initialize the observation weights $w_i =1/N, i=1,2,...,N$
2.For m =1 to M

a Fit a classifier $G_m(x)$to the training data using weights $w_i$
b Compute

$$err_m = \frac { \sum_{i=1}^N w_i I(y_i \ne G_m(x_i)) } { \sum_{i=1}^N w_i}$$
c Compute $\alpha_m = log((1-err_m)/err_m)$
d set $w_i \to w_i exp[\alpha_m I(y_i \mathrel{{=}\llap{/\,}}G_m(x_i)) ]$

该算法等价于使用指数损失函数的前向分步加法模型（forward stagewise additive modeling)

$$L(y,f(x))=exp(-yf(x))$$

对于adaboost来说基函数是分类器$G_m(x) \in \{-1,1\}$,使用指数损失，必须先解决如下问题

$$(\beta_m, G_m)=arg \min\limits_{\beta,G}\sum_{i=1}^Nexp[-y_i(f_{m-1}(x_i)+\beta G(x_i)) ]$$
即每次迭代时生成的分类器和对应的权重，该问题等价于 $$(\beta_m, G_m)=arg \min\limits_{\beta,G}\sum_{i=1}^N w_i^{(m)} exp(-\beta y_i G(x_i) ) \tag{10.9}$$
其中, $w_i^{(m)}=exp(-y_if_{m-1}(x_i))$.因为 $w_i^{(m)}$既不依赖 $\beta$又不依赖 $G(x)$，它可以看做每个样本的权重。由于该权重依赖于 $f_{m-1}(x_i)$,所以样本权重在每次迭代时都会变化。

10.分两步解决。
首先，先求$G_m(x)$. 对于任何$\beta > 0$,10.9中的$G_m(x)$为：

$$G_m= arg \min\limits_{G}\sum_{i=1}^N w_i^{(m)} I(y_i \ne G_m(x_i))$$
即最小化加权错误率的分类器(weighted error rate ).这样10.9可以表示为：

$$\begin{align} \sum_{i=1}^N w_i^{(m)} exp(-\beta y_i G(x_i) ) = e^{-\beta} \mathop{\sum}_{y_i=G(x_i)} w_i^{(m)} +e^{\beta} \mathop{\sum}_{y_i \ne G(x_i)} w_i^{(m)} \end{align}$$
可以表示为：
$$e^{-\beta} \sum_i^N w_i^{(m)} - e^{-\beta} \mathop{\sum}_{y_i\ne G(x_i)} w_i^{(m)} + e^{\beta} \mathop{\sum}_{y_i \ne G(x_i)} w_i^{(m)}$$
即
$$(e^\beta - e^{-\beta}) \sum_{i=1}^N w_i^{(m)}I(y_i \ne G(x_i) ) + e^{-\beta} \sum_{i=1}^Nw_i^{(m)}$$
将 $G_m$带入上式，对 $\beta$求导，并令导数为0，即

$$(e^\beta-e^{-\beta} )\sum_{i=1}^N w_i^{(m)}I(y_i \ne G(x_i) ) -e^{-\beta} \sum_{i=1}^Nw_i^{(m)} =0$$
两边同时除以 $e^{-\beta}$
$$(e^{2\beta}-1 )\sum_{i=1}^N w_i^{(m)}I(y_i \ne G(x_i) ) -\sum_{i=1}^Nw_i^{(m)} =0$$
$$e^{2\beta}-1 =\frac{\sum_{i=1}^Nw_i^{(m)}}{\sum_{i=1}^N w_i^{(m)}I(y_i \ne G(x_i) ) }$$
$$\begin{align} e^{2\beta}&=\frac{\sum_{i=1}^Nw_i^{(m)}}{\sum_{i=1}^N w_i^{(m)}I(y_i \ne G(x_i) ) }-1 \\ \end{align}$$
$$\beta=1/2 log(\frac{\sum_{i=1}^Nw_i^{(m)}}{\sum_{i=1}^N w_i^{(m)}I(y_i \ne G(x_i) ) }-1 )$$
根据Adaboost算法中的定义:
$$err_m = \frac { \sum_{i=1}^N w_i I(y_i \ne G_m(x_i)) } { \sum_{i=1}^N w_i}$$
可以看到
$$\beta=1/2log(\frac{1}{err_m} -1 )$$
$\alpha_m=2\beta_m$跟Adaboost算法中的c步中的基分类器的权重定义是相同的。

然后有

$$f_m(x)=f_{m-1}(x)+\beta_mG_m(x)$$

根据w的定义$w_i^{(m)}=exp(-y_if_{m-1}(x_i))$.可以得到

$$\begin{align} w_i^{(m+1)}&=exp(-y_if_m(x_i)) \\ &=exp(-y_i (f_{m-1}(x_i)+\beta_mG_m(x_i) )) \\ &=exp(-y_if_{m-1}(x_i)-y_i\beta_mG_m(x_i)) ) \\ &=exp(-y_if_{m-1}(x_i)) exp(-y_i\beta_mG_m(x_i)) \\ &=w_i^{(m)}exp(-y_i\beta_m G_m(x_i)) \end{align}$$

根据$-y_iG_m(x_i)=2I(y_i \ne G_m(x_i)) -1$ 上式变成：

$$w_i^{(m+1)}=w_i^mexp(\alpha_mI(y_i \ne G_m(x_i)) -\beta_m)$$
其中， $\alpha_m=2\beta_m$.由于 $exp(\beta_m)$对所有样本都是常数值，所以对权重更新其实没有影响。上面的权重更新和Adaboost算法中的权重更新是一致的。
综上，损失函数是指数函数的前向分步加法模型的基分类器权重和样本权重更新是相同的。

这篇其实是之前看ESL第10章的笔记。Adaboost算法最常用的基础分类器是决策树桩(decision stump)。决策树桩就是只进行一次特征选择而生产两个分支的决策树。根据树的种类可以由很多种实现方式。我在实现时使用的cart分类树，不过特征选择使用的误分类率作为特征选择的标准。