从前向分步算法推导出AdaBoost

前向分步算法到AdaBoost

前向分步算法与AdaBoost有什么关系呢？除了都属于Boosting的模型，其实AdaBoost是当前向分步算法损失函数为指数损失时的特例。这篇就写一下推导的过程。

前向分步算法 Forward Stagewise Additive Modeling

---

1. 初始化$f_0(x) = 0$
2. 对于$m = 1,2,...,M$
   (a)

$$(\beta_m,\gamma_m) = \arg\min_{\beta,\gamma} \sum_{i=1}^N L(y_i,f_{m-1}(x_i)+\beta b(x_i;\gamma))$$

(b)

$$f_m(x) = f_{m-1}(x) + \beta_m b(x;\gamma_m)$$

---

前向分步算法的步骤如上，其实我觉得应该翻译成前向分步累加模型更适合。因为最终的决策函数$f(x)$是由一系列的基函数$b(x;\gamma_m)$与相应的权值$\beta_m$累加起来的。前向分步指的是，最小化损失函数获取第$m$步的$\beta b(x;\gamma)$时不影响之前已经获取的参数$\gamma$与系数$\beta$。

对于回归问题，前向分步算法的损失函数可以选平方损失，即

$$L(y_i,f(x)) = (y_i - f(x))^2$$

所以有

$$L(y_i,f_{m-1}(x_i)+\beta b(x_i;\gamma)) = (y_i - f_{m-1}(x_i) - \beta b(x_i;\gamma))^2 \\ = (r_{im} - \beta b(x_i;\gamma))^2$$

其中$r_{im}= (y_i - f_{m-1}(x_i))$，这可以理解成是当前模型的残差，为了获取 $\beta_m b(x;\gamma_m)$，也就是令其去拟合当前模型的残差。

而AdaBoost是个分类器，对于分类问题，平方损失就不太适合了。所以引入指数损失，即

$$L(y,f(x)) = exp(-y f(x))$$

基本的AdaBoost是一个二分类模型，令其基函数$b(x;\gamma)=G(x)$，所以有$G_m(x) \in \lbrace-1,1\rbrace$。
则在指数损失的基础上，就需要解决如下问题

$$(\beta_m,G_m) = \arg\min_{\beta,G} \sum_{i=1}^N exp[-y_i(f_{m-1}(x_i)+\beta G_(x_i))]$$

令$w_i^{(m)} = exp(-y_i f_{m-1}(x_i))$，则上述公式可以写成

$$(\beta_m,G_m) = \arg\min_{\beta,G} \sum_{i=1}^N w_i^{(m)} exp(-\beta y_i G(x_i))$$

因为$y_i \in \lbrace-1,1\rbrace$，且$y_i$要么等于$G(x_i)$，要么不等于。所以将上述公式拆成两部分。暂时省略$\arg\min$之前的部分，$exp$简写成$e$，有

$$e^{-\beta} \sum_{y_i=G(x_i)} w_i^{(m)} + e^{\beta} \sum_{y_i \ne G(x_i)} w_i^{(m)}$$

在这基础上再添上两项，有

$$e^{-\beta} \sum_{y_i=G(x_i)} w_i^{(m)} + e^{\beta} \sum_{y_i \ne G(x_i)} w_i^{(m)} + e^{-\beta} \sum_{y_i \ne G(x_i)} w_i^{(m)} - e^{-\beta} \sum_{y_i \ne G(x_i)} w_i^{(m)}$$

再进一步合并，得到

$$(e^{\beta} - e^{-\beta}) \sum_{i=1}^N w_i I(y_i \ne G(x_i)) + e^{-\beta} \sum_{i=1}^N w_i^{(m)} \tag 1$$

对于迭代的第$m$步，假设$\beta$为常数，那么公式的右边以及$(e^{\beta}-e^{-\beta})$都可以看成常数，则要让损失函数取得最小值，只需要让$\sum_{i=1}^N w_i I(y_i \ne G(x_i))$取最小值。因此有

$$G_m = \arg\min_G \sum_{i=1}^N w_i^{(m)} I(y_i \ne G(x_i))$$

那么$\beta_m$怎么求得呢？现在假设$G_m$已知的情况下，回到公式$(1)$。此时的变量为$\beta$，要让损失函数取得最小值，先对$\beta$求偏导，得到

$$\frac {\partial_L} {\partial_{\beta}} = e^{\beta} \sum_{i=1}^N w_i^{(m)} I(y_i \ne G(x_i)) + e^{-\beta} \sum_{i=1}^N w_i^{(m)} I(y_i \ne G(x_i)) - e^{-\beta} \sum_{i=1}^N w_i^{(m)}$$
再令 $\frac {\partial_L} {\partial_{\beta}} = 0$，得
$$e^{\beta} \sum_{i=1}^N w_i^{(m)} I(y_i \ne G(x_i)) = [\sum_{i=1}^N w_i^{(m)} - \sum_{i=1}^N w_i^{(m)} I(y_i \ne G(x_i))] e^{-\beta}$$
对两边同求 $log$，得到
$$log \sum_{i=1}^N w_i^{(m)} I(y_i \ne G(x_i)) + log e^{\beta} = log [\sum_{i=1}^N w_i^{(m)} - \sum_{i=1}^N w_i^{(m)} I(y_i \ne G(x_i))] + log e^{-\beta}$$
又因为 $log e^{-\beta} = -log e^{\beta}$，所以有
$$log e^{\beta} = \frac {1} {2} log \frac {\sum_{i=1}^N w_i^{(m)} - \sum_{i=1}^N w_i^{(m)} I(y_i \ne G(x_i))} {\sum_{i=1}^N w_i^{(m)} I(y_i \ne G(x_i))}$$
所以解得
$$\beta_m = \frac {1} {2} log \frac {\sum_{i=1}^N w_i^{(m)} - \sum_{i=1}^N w_i^{(m)} I(y_i \ne G(x_i))} {\sum_{i=1}^N w_i I(y_i \ne G(x_i))}$$
又因为加权误差率
$$err_m = \frac {\sum_{i=1}^N w_i^{(m)} I(y_i \ne G(x_i))} {\sum_{i=1}^N w_i^{(m)}}$$
所以 $\beta_m$可以写成
$$\beta_m = \frac {1} {2} log \frac {1 - err_m} {err_m}$$

求出了$G_m(x)$与$\beta_m$，就可以写出$f(x)$的更新公式了

$$f_m(x) = f_{m-1}(x) + \beta_m G_m(x)$$

根据$w_i^{(m)} = exp(-y_i f_{m-1}(x_i))$，可以写出$w$的更新公式

$$w_i^{(m+1)} = exp(-y_i f_m (x_i)) \\ = exp(-y_i (f_{m-1}(x_i)+\beta_m G_m(x_i))) \\ = w_i^{(m)} exp(- \beta_m y_i G_m(x_i))$$
因为$y_i$等于$G_m(x_i)$的时候等于1，而不等于的时候等于-1，所以再用一个技巧，令$-y_i G_m(x_i) = 2 I(y_i \ne G_m(x_i)) - 1$，代入上面的公式，得到

$$w_i^{(m+1)} = exp(-y_i f_m (x_i)) = w_i^{(m)} \bullet exp^{2 \beta_m I(y_i \ne G_m(x_i))} \bullet exp^{-\beta_m}$$

再令$\alpha_m = 2\beta_m$，且上式的最右系数$exp^{-\beta_m}$对所有$w_i$都一样，所以可以舍去。这样就得到了

$$w_i^{(m+1)} = w_i^{(m)} \bullet exp^{\alpha_m I(y_i \ne G_m(x_i))}$$
这就与AdaBoost的样本权值更新公式一样了。
而 $\alpha_m = 2\beta_m = log \frac {1 - err_m} {err_m}$ 也与AdaBoost的弱分类器系数一样。

到这里也就推导出了当前向分步算法的损失函数选为指数损失的时候，前向分步算法也就是AdaBoost啦。