Adaboost学习笔记

在之前的博客集成学习原理小结中，我们谈到了 Adaboost 算法。它凭借其优越的性能和通用性，成为 Boosting 家族中最为经典的算法之一。因此，在本文中，我们将学习 Adaboost 算法，领略其独特的魅力。

基本思路

在集成学习原理小结中，我们知道 Boosting 算法是一族可将弱分类器提升为强分类器的算法。它的工作机制可总结为：先从训练集中学习得到一个弱学习器，再根据弱学习器的表现对训练样本分布进行调整，更新权重使得之前弱学习器做错的样本得到更多的关注，然后根据调整后的样本重新训练下一个弱学习器；如此重复进行，直至弱学习器个数达到事先的值 $T$，最终将 $T$ 个弱学习器结合。

毫无疑问，Adaboost 算法也满足上述基本流程。那么，它到底是怎样实现的呢？其算法的基本流程又是怎样的呢?

Adaboost 算法有多个变种，比较容易理解的是加法模型(additive model)，即基学习器的加权组合，如下图所示，

损失函数优化

在前一小结中，我们对 Adaboost 算法的基本思路有了一定的了解。那么，它的损失函数又是什么呢？我们又怎么优化呢？

前面提到，与 GBDT 算法相同，上述的 Adaboost 算法是一加法模型，并且使用前向分布算法进行求解。不同的是，Adaboost的损失函数为指数函数

$$\mathrm{argmin}\sum _{i=1}^{m}exp(-y_i{H}_t(x))$$

我们对上式求导，并令其等于0，可得

$$-P(y_i=1|x)e^{-H_t(x)}+P(y_i=-1|x)e^{H_t(x)}=0$$

解得

$$H_t(x)=\frac{1}{2}\ln \frac{P(y_i=1|x)}{P(y_i=-1|x)}$$

因此，可有

$$\begin{array}{rl}sign(H(x))& =\{\begin{array}{rl}1& ,P(y_i=1|x)>P(y_i=-1|x)\\ -1& ,P(y_i=1|x)\le P(y_i=-1|x)\end{array}\\ & =\underset{y\in [-1,1]}{\mathrm{argmax}}P(y|x)\end{array}$$

因此，我们可以得知当指数函数最小化等价于分类错误率最小化。而之所以使用指数函数，是因为其有更好的数学性质，如连续可微等。此外，根据前向分布算法，可得上式可改写为

$$\underset{\alpha ,h}{\mathrm{argmin}}\sum _{i=1}^{m}exp(-y_i(H_{t-1}(x)+\alpha h_t(x))$$

令$w_{t,i}^{{}^{\prime }}=exp(-y_i{H}_{t-1}(x))$。因为其与参数 $\alpha ,h$无关，所以与最小化无关，仅仅依赖于$H_{t-1}(x)$。因此，有

$$\underset{\alpha ,h}{\mathrm{argmin}}\sum _{i=1}^m{w}_{t,i}^{{}^{\prime }}exp(-y_i\alpha h_t(x))$$

为了求解上式，我们不妨求解$h_t(x)$。根据前式，我们知道指数函数最小化等价于分类错误率最小化，因此，

$$h_t^{\ast }(x)=\underset{\alpha ,h}{\mathrm{argmin}}\sum _{i=1}^m{w}_{t,i}^{{}^{\prime }}I(y_i̸=h_t(x_i))$$

将上式代入原损失函数，则有
$$\begin{array}{rl}\underset{\alpha }{\mathrm{argmin}}\sum _{i=1}^m{w}_{t,i}^{{}^{\prime }}exp(-y_i\alpha h_t(x))& =\sum _{y_i=h_t^{\ast }(x_i)}{w}_{t,i}^{{}^{\prime }}{e}^{-\alpha }+\sum _{y_i̸=h_t^{\ast }(x_i)}{w}_{t,i}^{{}^{\prime }}{e}^{\alpha }\\ & =(e^{\alpha }-e^{-\alpha })\sum _{i=1}^m{w}_{t,i}^{{}^{\prime }}I(y_i̸=h_t^{\ast }(x_i))+\sum _{i=1}^m{w}_{t,i}^{{}^{\prime }}{e}^{-\alpha }\end{array}$$

我们对上式求导，使其为零，则有

$$(e^{\alpha }+e^{-\alpha })\sum _{i=1}^m{w}_{t,i}^{{}^{\prime }}I(y_i̸=h_t^{\ast }(x_i))-\sum _{i=1}^m{w}_{t,i}^{{}^{\prime }}{e}^{-\alpha }=0$$

令 ${ϵ}_t$ 是样本错误率

$${ϵ}_t=\frac{{\sum }_{i=1}^m{w}_{t,i}^{{}^{\prime }}I(h_t(x_i)̸=y_i)}{{\sum }_{i=1}^m{w}_{t,i}}=\sum _{i=1}^m{w}_{t,i}I(h_t(x_i)̸=y_i)$$

则有

$${\alpha }_t=\frac{1}{2}\ln \frac{1-{ϵ}_t}{{ϵ}_t}$$

最后，根据 $H_t(x)=H_{t-1}(x)+{\alpha }_t{h}_t(x)$ 和 $w_{t,i}^{{}^{\prime }}=exp(-y_{i}h(x_i))$ 可得

$$w_{t+1,i}^{{}^{\prime }}=w_{t,i}^{{}^{\prime }}exp(-y_i\alpha h_t(x_i))$$

总结

正如 Boosting 算法家族一样，Adaboost 的弱分类器可以为任何分类器，如决策树，神经网络等。此外，Adaboost 算法优缺点如下，

优点

1. 分类精度很高

2. 在Adaboost的框架下，可以使用各种回归分类模型来构建弱学习器，非常灵活。

3. 作为简单的二元分类器时，构造简单，结果可理解。

4. 不容易发生过拟合

缺点

1. 对异常样本敏感，异常样本在迭代中可能会获得较高的权重，影响最终的强学习器的预测准确性。

参考文献

1. 周志华 《机器学习》；
2. 刘建平 集成学习之Adaboost原理小结