数据分析（五）Boosting 集成模型：AdaBoost 与 GBDT（上）

这一讲是关于两个最常见的集成模型的具体实现原理—— AdaBoost 和 GBDT。理解原理的用处，是为了能明白模型的局限性和适用场景，在出问题时能尽快地定位到核心问题所在。再次提醒，由于主流上当我们谈及集成模型时，主要是指分类集成模型，所以下面所有的措辞都是用分类器相关的说法。That’s pretty much it. Let’s get started!
 
内容略长，分为上下篇，上篇为 AdaBoost，下篇为 GBDT。

Boosting 提升算法

在了解 AdaBoost 与 GBDT 之前，需要先了解其所在的大家族：Boosting 提升算法。Boosting 提升算法跟集成模型是一个东西的不同叫法而已，大家都懂。其核心思想可以理解为利用【弱分类器】（也就是简单模型）集成【强分类器】。对于一个具体的 Boosting 算法，使用的弱分类器一般是固定的一种（比如 AdaBoost 可以用决策树），但是集成过程会生成弱分类器的多个实例。

关于 Boosting 算法，网上的资料质量参差不齐，个人认为 这篇文章 写得非常好。里面提到两个概念：加法模型和前向分步算法。

加法模型

• 加法模型是指强分类器由一系列的弱分类器线性相加而成，如这种组合：

$$G(x)=\sum _{t=1}^T{\alpha }_t{G}_t(x)$$

其中 $G_t(x)$ 是指过程中生成的所有弱分类器的实例，${\alpha }_t$ 是指每个弱分类器对应的权重，$G(x)$ 就是最终我们要的强分类器（虽然通常还要有最后一步的转化过程）。

BTW，在 Bagging 集成模型中， $\alpha$ 相当于取为 $\frac{1}{T}$。
 

前向分步

• 前向分步是指在集成的过程中，后一轮迭代产生的（“准”强）分类器是根据前一轮迭代的结果确定的，把上面的加法模型拆开，其实就可以看出每一次迭代后的结果，都是【上一次迭代的结果】加上【本次迭代所生成的弱分类器乘上其权重】：

$$G(x)=(\sum _{t=1}^{T-1}{\alpha }_t{G}_t(x))+{\alpha }_T{G}_T(x)=G^{\ast }(x)+{\alpha }_T{G}_T(x)$$

这个模式在推导 AdaBoost 等具体算法的原理时就会派上用场。
 

---

AdaBoost

主要思想

• 损失函数为指数型
• 每一轮迭代都是随机采样，每个样本被采样的概率（本文称为权重）可能不同
• 根据每轮迭代的结果，修改样本的权重（体现在随机采样的过程），以及确定当前弱分类器在最终结果中所占的权重
• 对上一点的补充：上一轮被正确分类的样本，在下一轮中权重下降，因此可以将分类重心转移到被误分的样本上；分类正确率高的弱分类器所占的权重较高，也就是在所有弱分类器中较有表决权

算法框架

不妨记样本集的形式为 $(x_1,y_1),...,(x_n,y_n)$，其中 $x_i$ 指特征，$y_i$ 指分类标签 。则算法框架可表述为：

1. 初始化样本权重：$w_i^0=\frac{1}{n},i=1,2,...,n$
2. for t = 0:T
3. 根据权重 $w_i^t$ 在样本中随机选择若干样本，训练弱分类器 $G_t(x)$
4. 计算当前弱分类器的分类误差：${ϵ}_t=\frac{{\sum }_{i=1}^n{w}_i^{t}I(y_i̸=G_t(x_i))}{{\sum }_{i=1}^n{w}_i^t}$，其中当 $y_i̸=G_t(x_i)$时，$I(y_i̸=G_t(x_i))=1$，当 $y_i=G_t(x_i)$ 时，$I(y_i̸=G_t(x_i))=0$
5. 根据分类误差计算当前弱分类器的权重：${\alpha }_t=\frac{1}{2}\log \frac{1-{ϵ}_t}{{ϵ}_t}$
6. 根据弱分类器的权重更新样本权重：$w_i^{t+1}=\frac{w_i^t\exp (-{\alpha }_t{y}_i{G}_t(x_i))}{Z_t}$，其中 $Z_t={\sum }_{i=1}^n\exp (-{\alpha }_t{y}_i{G}_t(x_i))$ 为归一化因子
7. end for
8. 输出：$G(x)=sign[{\sum }_{t=1}^T{\alpha }_t{G}_t(x)]$

从这个算法框架中我们能看出一些性质：

• 当前弱分类器的权重，与当前弱分类器的分类误差直接关联，分类误差越小，权重越大（不妨自己试试将分类误差为 0.0，0.5，1.0 分别代入看看）；
• 假设 ${ϵ}_t<0.5$，即 ${\alpha }_t>0$（也就是分类器效果优于随机瞎猜），以二分类即标签为（1, -1）为例说明样本权重：对于每个样本而言，当弱分类器将其正确分类时，$y_i{G}_t(x_i)=1$，因此 $\exp (-{\alpha }_t{y}_i{G}_t(x_i))=\exp (-{\alpha }_t)<1$，其在下一轮迭代中的权重下降；当弱分类器将其错误分类时，$y_i{G}_t(x_i)=-1$，因此 $\exp (-{\alpha }_t{y}_i{G}_t(x_i))=\exp ({\alpha }_t)>1$，其在下一轮迭代中的权重上升。当 ${ϵ}_t>=0.5$，即 ${\alpha }_t<=0$ 时，就是说分类器刚好猜反了（zhen de sao），所以以上推导过程刚好反过来成立。

示意图

我们用一个图形样例来示意这个过程：

1. 初始样本状态为 $D_1$：
2. 第一轮迭代，误分了 3 个正样本，调整样本权重为 $D_2$：
3. 第二轮迭代，误分了 3 个负样本，调整样本权重为 $D_3$：
4. 第三轮迭代，误分了 2 个正样本，1 个负样本，调整样本权重为 $D_4$：
5. 最终的集成分类器：

AdaBoost 的优缺点

• 优点：分类精度相对单个弱分类器更高；使用简单，只需要选定弱分类器及其个数即可；能较好地防止过拟合
• 缺点：因为中间过程样本权重的调整过程是不可见的，模型的可解释性降低了许多；对异常值敏感；当弱分类器太复杂或分类效果太差时也会过拟合

---

原理推导

有心学习的伙伴看到这或许会好奇这个算法中用到的公式，到底是如何得来的。下面介绍其推导过程。

回顾下前面的前向分步：
$$G(x)=(\sum _{t=1}^{T-1}{\alpha }_t{G}_t(x))+{\alpha }_T{G}_T(x)=G^{\ast }(x)+{\alpha }_T{G}_T(x)$$

不妨记 $g_n(x)={\sum }_{t=1}^n{\alpha }_t{G}_t(x)$，则上式更合理的表述方式为：
$$g_T(x)=g_{T-1}(x)+{\alpha }_T{G}_T(x)$$
推广到每一步迭代就是$$g_t(x)=g_{t-1}(x)+{\alpha }_t{G}_t(x)$$

在 AdaBoost 中，使用到的损失函数是 $$Cost(x,y)=\sum _{i=1}^n\exp (-y_i{g}_t(x_i))=\sum _{i=1}^n\exp (-y_i(g_{t-1}(x_i)+{\alpha }_t{G}_t(x_i)))=\sum _{i=1}^n\exp (-y_i{g}_{t-1}(x_i))\exp (-y_i{\alpha }_t{G}_t(x_i))$$
如果记 $w_i^t=\exp (-y_i{g}_{t-1}(x_i))$，可以发现
$$w_i^t=\exp (-y_i{g}_{t-2}(x_i)-y_i{\alpha }_{t-1}{G}_{t-1}(x_i))=w_i^{t-1}\exp (-y_i{\alpha }_{t-1}{G}_{t-1}(x_i))$$
到这里，与上面的算法一比较，就不难理解权重的迭代公式是怎么来的了。归一化是为了方便计算。

如果你理解了权重的迭代原理，那你下一个要好奇自然就是这个 ${\alpha }_t$ 要怎么计算。显然，我们的最终目标是最小化损失函数，在数学上可以通过对 ${\alpha }_t$ 求导来找到最小化损失函数的 ${\alpha }_t$。注意！下面的过程一定、一定、一定要小心推导！

• 首先求损失函数的偏导数： $$\begin{gathered} \frac{\partial Cost}{\partial {\alpha }_t}=\sum _{i=1}^n{w}_i^t(-y_i{G}_t(x_i))\exp (-y_i{\alpha }_t{G}_t(x_i)) \\ =\frac{{\sum }_{i=1}^n{w}_i^t(-y_i{G}_t(x_i))\exp (-y_i{\alpha }_t{G}_t(x_i))}{{\sum }_{i=1}^n{w}_i^t} \\ =\frac{{\sum }_{y_i=G_t(x_i)}{w}_i^t(-1)\exp (-{\alpha }_t)++{\sum }_{y_i̸=G_t(x_i)}{w}_i^t\exp ({\alpha }_t)}{{\sum }_{i=1}^n{w}_i^t} \\ =({ϵ}_t-1)\exp (-{\alpha }_t)+{ϵ}_t\exp ({\alpha }_t) \end{gathered}$$

• 令该导数为零，得 $$({ϵ}_t-1)+{ϵ}_t\exp (2{\alpha }_t)=0$$
  从而 $${\alpha }_t=\frac{1}{2}\ln \frac{1-{ϵ}_t}{{ϵ}_t}$$

在算法的世界里，对数无差别，所以我们更经常见到的表示方式为 $${\alpha }_t=\frac{1}{2}\log \frac{1-{ϵ}_t}{{ϵ}_t}$$

恭喜你，至此你可以算是理解了 AdaBoost 的原理了。How nice!