Boosting提升算法之AdaBoost

Boosting提升算法

Boosting算法是将“弱学习算法“提升为“强学习算法”的过程，主要思想是“三个臭皮匠顶个诸葛亮”。一般来说，找到弱学习算法要相对容易一些，然后通过反复学习得到一系列弱分类器，组合这些弱分类器得到一个强分类器。Boosting算法要涉及到两个部分，加法模型和前向分步算法。

• 加法模型就是说强分类器由一系列弱分类器线性相加而成。一般组合形式如下：
  $$F_M(x;P)=\sum _{m=1}^n{\beta }_{m}h(x;a_m)$$
  其中，$h(z;a_m)$就是一个个的弱分类器，$a_m$是弱分类器学习到的最优参数，${\beta }_m$就是弱学习在强分类器中所占比重，$P$是所有$a_m$和${\beta }_m$的组合。这些弱分类器线性相加组成强分类器。

• 前向分步就是说在训练过程中，下一轮迭代产生的分类器是在上一轮的基础上训练得来的。也就是可以写成这样的形式：
  $$F_m(x)=F_{m-1}(x)+{\beta }_m{h}_m(x;a_m)$$

由于采用的损失函数不同，Boosting算法也因此有了不同的类型，AdaBoost就是损失函数为指数损失的Boosting算法。

从图中可以看出，Boosting算法的工作机制是首先从训练集用初始权重训练出一个弱学习器1，根据弱学习的学习误差率表现来更新训练样本的权重，使得之前弱学习器1学习误差率高的训练样本点的权重变高，使得这些误差率高的点在后面的弱学习器2中得到更多的重视。然后基于调整权重后的训练集来训练弱学习器2.，如此重复进行，直到弱学习器数达到事先指定的数目T，最终将这T个弱学习器通过集合策略进行整合，得到最终的强学习器。　　
　　不过有几个具体的问题Boosting算法没有详细说明。
　　1）如何计算学习误差率e?
　　2) 如何得到弱学习器权重系数α?
　　3）如何更新样本权重D?
　　4) 使用何种结合策略？
　　只要是boosting大家族的算法，都要解决这4个问题。那么Adaboost是怎么解决的呢？

1 Adaboost

1.1 原理理解

全称adaptive boosting，大多数的提升方法都是改变训练数据的概率分布（训练数据的权值分布），针对不同的训练数据分布调用弱学习算法学习一系列弱分类器。这样，会产生两个问题：

• 1、在每一轮中如何改变训练数据的权值或概率分布
  Adaboost将关注点放在被错误分类的样本上，减小上一轮被正确分类的样本权值，提高那些被错误分类的样本权值。然后，再根据所采用的一些基本机器学习算法进行学习，这样那些没有得到正确分类的数据由于其权值的加大而受到后面一轮的弱分类器的更大关注。
• 2、如何将弱分类器组合成一个强分类器
  AdaBoost采用加权多数表决的方法，加大分类误差率小的弱分类器的权重，减小分类误差率大的弱分类器的权重。这个很好理解，正确率高分得好的弱分类器在强分类器中当然应该有较大的发言权。

AdaBoost的训练误差是以指数速率下降的，即AdaBoost算法随着迭代次数的增加，训练误差不断减小，即模型偏差显著降低 。

1.2 Adaboost算法的基本思路

这一部分看一下Adaboost是如何解决开头提出的4个问题的。总结一下，得到AdaBoost的算法流程:

• 输入: 训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ( x N , y N ) } , T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right),\left(x_{N}, y_{N}\right)\right\}, T={(x1​,y1​),(x2​,y2​),(xN​,yN​)}, 其中, $x_i\in X\subseteq R^n,y_i\in Y=-1,1,$ 迭代次数 $M$
• 1.初始化训练样本的权值分布
  $$D_1=\left(w_{1,1},w_{1,2},\dots ,w_{1,i}\right),w_{1,i}=\frac{1}{N},i=1,2,\dots ,N$$
• 2.对于 $m=1,2,\dots ,M$
  ( a ) 使用具有权值分布 $D_m$ 的训练数据集进行学习，得到弱分类器 $G_m(x)$
  ( b ) 计算 $G_m(x)$ 在训练数据集上的分类误差率:
  $$e_m=\sum _{i=1}^N{w}_{m,i}I\left(G_m\left(x_i\right)\ne y_i\right)$$
  ( c ) 计算 $G_m(x)$ 在强分类器中所占的权重: :
  $${\alpha }_m=\frac{1}{2}\log \frac{1-e_m}{e_m}$$
  为什么这样计算弱学习器权重系数？从上式可以看出，如果分类误差率$e_m$越大，则对应的弱分类器权重系数${\alpha }_k$越小。也就是说，误差率小的弱分类器权重系数越大。具体为什么采用这个权重系数公式，我们在讲Adaboost的损失函数优化时再讲。
  ( d ) 更新训练数据集的权值分布（这里， $z_m$ 是归一化因子，为了使样本的概率分布和
  为1）:
  $$\begin{array}{c}{w}_{m+1,i}=\frac{w_{m,i}}{z_m}\exp \left(-{\alpha }_m{y}_i{G}_m\left(x_i\right)\right),i=1,2,\dots ,10\\ \\ z_m={\sum }_{i=1}^N{w}_{m,i}\exp \left(-{\alpha }_m{y}_i{G}_m\left(x_i\right)\right)\end{array}$$
  从$w_{k+1,i}$计算公式可以看出， 如果第$i个$样本分类错误， 则$y_i{G}_m\left(x_i\right)<0$， 导致样本的权重在第$k+1$个弱分类器中增大，如果分类正确，则权重在第$k+1$个弱分类器中减少具体为什么采用样本权重更新公式，我们在讲Adaboost的损失函数优化时再讲。
• 3.得到最终的分类器：
  $$F(x)=\mathrm{sign}(\sum _{i=1}^N{\alpha }_m{G}_m(x))$$

1.3 AdaBoost分类问题的损失函数优化

刚才上一节我们讲到了分类Adaboost的弱学习器权重系数公式和样本权重更新公式。但是没有解释选择这个公式的原因，让人觉得是魔法公式一样。其实它可以从Adaboost的损失函数推导出来。
从另一个角度讲，Adaboost是模型为加法模型，学习算法为前向分步学习算法，损失函数为指数函数的分类问题。

• 模型为加法模型好理解，我们的最终的强分类器是若干个弱分类器加权平均而得到的。
• 前向分步学习算法也好理解，我们的算法是通过一轮轮的弱学习器学习，利用前一个强学习器的结果和当前弱学习器来更新当前的强学习器的模型。

也就是说，第k-1轮的强学习器为
$$f_{k-1}(x)=\sum _{i=1}^{k-1}{\alpha }_i{G}_i(x)$$
而第k轮的强学习器为
$$f_k(x)=\sum _{i=1}^k{\alpha }_i{G}_i(x)$$
上面两式一比较可以得到
$$f_k(x)=f_{k-1}(x)+{\alpha }_k{G}_k(x)$$

• Adaboost损失函数为指数函数，即定义损失函数为
  
  
  
  

1.4 Adaboost算法的正则化

1.5 Adaboost小结

Boosting方法可以以多种模型作为基本模型，其中以分类决策树或回归决策树为基模型的话被称为提升树（Boosting Tree）。
Boosting算法的工作机制：首先从训练集用初始权重训练出一个弱学习器1，根据弱学习的学习误差率表现来更新训练样本的权重，使得之前弱学习器1学习误差率高的训练样本点的权重变高，使得这些误差率高的点在后面的弱学习器2中得到更多的重视。然后基于调整权重后的训练集来训练弱学习器2.，如此重复进行，直到弱学习器数达到事先指定的数目T，最终将这T个弱学习器通过集合策略进行整合，得到最终的强学习器。　　
　　不过有几个具体的问题Boosting算法没有详细说明。
　　1）如何计算学习误差率e?
　　2) 如何得到弱学习器权重系数α?
　　3）如何更新样本权重D?
　　4) 使用何种结合策略？
　　只要是boosting大家族的算法，都要解决这4个问题。

上述4个问题可以被总结为：

• 每一轮如何改变训练数据的权值和概率分布
• 如何将弱分类器组合成一个强分类器

Adaboost核心思路：对第一个问题，提升被前一轮弱分类器错误分类的样本的权值，降低被正确分类样本的权值；对于第2个问题，AdaBoost采取加权多数表决的方法，加大分类误差率小的弱分类器的权值，减少分类误差率大的弱分类器的权值。

到这里Adaboost就写完了，前面有一个没有提到，就是弱学习器的类型。理论上任何学习器都可以用于Adaboost.但一般来说，使用最广泛的Adaboost弱学习器是决策树和神经网络。对于决策树，Adaboost分类用了CART分类树，而Adaboost回归用了CART回归树。因此，Adaboost’既可以分类也可以回归。
这里对Adaboost算法的优缺点做一个总结。

• 主要优点有：
  　　1）Adaboost作为分类器时，分类精度很高
  　　2）在Adaboost的框架下，可以使用各种回归分类模型来构建弱学习器，非常灵活。
  　　3）作为简单的二元分类器时，构造简单，结果可理解。
  　　4）不容易发生过拟合
• 主要缺点有：
  　　1）对异常样本敏感，异常样本在迭代中可能会获得较高的权重，影响最终的强学习器的预测准确性。
  　　2)此外，Adaboost依赖于弱分类器，而弱分类器的训练时间往往很长。