笔记—集成学习—Boosting

集成学习——Boosting

一、引言

在机器学习的有监督学习算法中，我们的目标是学习出一个稳定的且在各个方面表现都较好的模型。但是，实际情况往往不这么理想，有时我们只能得到多个有偏好的模型（弱监督模型，在某些方面表现的比较好）。集成学习就是组合多个弱监督模型以期得到一个更好更全面的强监督模型，它是基于这样一种思想：将多个监督模型的判断进行适当的结合，要比其中任何一个单独的监督模型要好，因为即便某一个弱监督模型得到了错误的判断，其他的弱监督模型也有可能将错误纠正回来。

根据弱学习器的生成方式，目前的集成学习方法大致可分为两大类：

• 序列化方法：各个弱学习器之间存在强依赖关系、必须串行化生成，以Boosting为代表；
• 并行化方法：各个弱学习器之间不存在强依赖关系、可同时生成，以Bagging为代表；

本文主要介绍Boosting方法，下图是Boosting方法的示意图。

Boosting方法是可以将弱学习器提升为强学习器的一类方法，它的工作机制是：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本进行调整，使得先前基学习器预测错误的训练样本在后续收到更多关注，然后基于调整后的样本分布来训练下一个基学习器，如此重复进行，直至基学习器数目达到事先指定的值$M$，最终将这$M$个基学习器进行加权结合。

二、前向分步算法

在详细介绍Boosting方法之前，我们首先介绍一下前向分步算法，因为大多数Boosting方法都可以看作是前向分步算法的特例。

具体来说，假设有加法模型
$$f(\mathbf{x})=\sum _{m=1}^M{\beta }_{m}b(\mathbf{x};{\gamma }_m)$$
其中，$b(x;{\gamma }_m)$为基函数，${\gamma }_m$为基函数的参数，${\beta }_m$为基函数的系数。我们的目标是极小化损失函数
$$\underset{{\beta }_m,{\gamma }_m}{\min }\sum _{i=1}^{N}L(y_i,f({\mathbf{x}}_i))$$
其中，$L(\cdot )$为损失函数。

由于$f(\mathbf{x})$是加法模型
$$\begin{array}{rl}{f}_2(\mathbf{x})& =f_1(\mathbf{x})+{\beta }_b(\mathbf{x};{\gamma }_2)\\ f_3(\mathbf{x})& =f_2(\mathbf{x})+{\beta }_{3}b(\mathbf{x};{\gamma }_3)\\ ...& \\ f_m(\mathbf{x})& =f_{m-1}(\mathbf{x})+{\beta }_{m}b(\mathbf{x};{\gamma }_m)\end{array}$$
因此，前向分步算法的基本思路是：每步只学习一个基函数及其系数，逐步逼近目标函数，从而简化优化的复杂度。

前向分步算法的具体流程如下：

1. 初始化$f_0(\mathbf{x})=0$；
2. 对$m=1,2,...,M$
   a. 极小化损失函数
   $$({\beta }_m,{\gamma }_m)=\arg \underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L(y_i,f_{m-1}({\mathbf{x}}_i)+\beta b({\mathbf{x}}_i;\gamma )$$
   b.更新
   $$f_m(\mathbf{x})=f_{m-1}(\mathbf{x})+{\beta }_{m}b(\mathbf{x};{\gamma }_m)$$
3. 得到加法模型
   $$f(\mathbf{x})=f_M(\mathbf{x})=\sum _{m=1}^M{\beta }_{m}b(\mathbf{x};{\gamma }_m)$$

这样，前向分步算法将同时求解所有的${\beta }_m$和${\gamma }_m$的优化问题简化为逐次求解各个${\beta }_m$和${\gamma }_m$的问题。

三、AdaBoost

AdaBoost算法是从弱学习算法出发，反复学习，得到一系列弱分类器（又称基本分类器），然后组合这些弱分类器，构成一个强分类器。它通过改变训练数据的概率分布（训练数据的权值分布），针对不同的的训练数据分布调用弱学习算法学习一系列弱分类器。那么，就有以下两个问题需要解决：

1. 在每一轮如何改变训练数据的权值或是说概率分布；
2. 如何将多个弱分类器组合成一个强分类器；

对于第一个问题，AdaBoost算法是这样解决的：提高那些被前一轮弱分类器错误分类样本的权值，而降低那些被正确分类样本的权值。这样一来，那些下载 到正确分类的数据，由于其权值增大而在下一轮的训练中得到更大的关注。而对于第二问题，AdaBoost算法采用加权多数表决的方法，即加大分类误差率小的弱分类器的权值，使其在表决中起到较大的作用，而减小分类误差率较大的弱分类器的权值，使其在表决种起到较小的作用。下面我们将详细介绍AdaBoost算法。

首先，给定二分类训练集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T = \{ (\mathbf{x}_1, y_1), (\mathbf{x}_2, y_2), ..., (\mathbf{x}_N, y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}
其中${\mathbf{x}}_i\in {\mathbb{R}}^n$表示实例， y i ∈ { + 1 , − 1 } y_i \in \{+1, -1\} yi​∈{+1,−1}表示实例对应的标签。

AdaBoost方法的具体步骤如下：

1. 初始化训练数据的权值分布
   $$D_1=(w_{11},...,w_{1i},...,w_{1N}),w_{1i}=\frac{1}{N},i=1,2,...,N$$
2. 对于$m=1,2,...,M$
   a. 使用具有全职分布$D_m$的训练数据集学习，得到弱分类器
   $$G_m(\mathbf{x})$$
   b. 计算$G_m({\mathbf{x}}^i)$在训练集上的分类误差率
   $${ϵ}_m=\sum _{i=1}^N{w}_{mi}I(G_m({\mathbf{x}}^i\ne y_i))$$
   c. 计算弱分类器$G_m({\mathbf{x}}^i)$的权重系数
   $${\alpha }_m=\frac{1}{2}\log \frac{1-{ϵ}_m}{{ϵ}_m}$$
   d. 更新训练数据集的权值分布
   $$\begin{array}{rl}{D}_{m+1}& =(w_{m+1,1},...,w_{m+1,i},...,w_{m+1,N})\\ w_{m+1,i}& =\frac{w_{mi}}{Z_m}exp(-{\alpha }_m{y}_i{G}_m({\mathbf{x}}^i))\\ Z_m& =\sum _{i=1}^N{w}_{mi}exp(-{\alpha }_m{y}_i{G}_m({\mathbf{x}}^i))(规范化因子)\end{array}$$
3. 构建弱分类器的加权组合
   $$f(\mathbf{x})=\sum _{i=1}^M{\alpha }_m{G}_m(\mathbf{x})$$

上述步骤中，$w_{mi}$表示第$m$轮第i个实例的权重，从其更新公式
$$\begin{array}{rl}{w}_{m+1,i}& =\frac{w_{mi}}{Z_m}{e}^{-{\alpha }_m},G_m({\mathbf{x}}^i)=y_i\\ w_{m+1,i}& =\frac{w_{mi}}{Z_m}{e}^{{\alpha }_m},G_m({\mathbf{x}}^i)\ne y_i\end{array}$$
可以看出，如果上一轮训练中的某个实例被正确分类，那么它在下一轮训练中的权值将减小；如果上一轮训练中的某个实例被错误分类，那么它在下一轮训练中的权值将增大。

另外，上述步骤中，${\alpha }_m$表示第$m$个弱分类器前面的权重系数，即弱分类器$G_m(\mathbf{x})$在最终强分类器中的重要程度。从其公式中可以看出，当${ϵ}_m\le \frac{1}{2}$时，${\alpha }_m\ge 0$，并且随着${ϵ}_m$的减小而增大，所以分类误差率越小的弱分类器在最终分类器中的作用越大。

AdaBoost算法可以看作是模型为加法模型、损失函数为指数函数、学习算法为前向分步算法时的二分类学习算法。上述的这个定理的证明在此就不再赘述，具体可以参考李航的《统计学习方法》第8.2.3小节。

三、Boosting Tree

如果基函数是决策树，那么这种Boosting方法称为Boosting Tree。Boosting Tree可以表示为决策树的加法模型
$$f_M(\mathbf{x})=\sum _{m=1}^{M}T(\mathbf{x};{\theta }_m)$$
其中，$T(\mathbf{x};{\theta }_m)$表示决策树。

对于二类分类问题，只需将Adaboost算法中的基分类器二类分类树，即可得到二类分类问题的Boosting Tree。

对于回归问题，假设有回归树将输入空间划分为$J$个互不相交的区域$R_1,R_2,...,R_J$，并且在每个区域上确定输出的常量$c_j$，那么回归树可以表示为
$$T(\mathbf{x};\theta )=\sum _{j=1}^J{c}_{j}I(\mathbf{x}\in R_j)$$

当损失函数采用MSE（平方误差损失函数）时，那么
$$\begin{array}{rl}L(y,f_m(\mathbf{x}))& =[y-f_{m-1}(\mathbf{x})-T(\mathbf{x};{\theta }_m){]}^2\\ & =[r-T(\mathbf{x};{\theta }_m){]}^2\end{array}$$
其中，$r$是当前模型拟合数据的残差。因此，回归问题的Boosting Tree算法只需简单地拟合当前模型地残差，其具体过程如下：

1. 初始化$f_0(\mathbf{x})=0$；
2. 对$m=1,2,...,M$
   a. 计算残差
   $$r_{mi}=y_i-f_{m-1}({\mathbf{x}}_i)$$
   b. 拟合残差$r_{m}i$学习一个回归树，得到 $T(\mathbf{x};{\theta }_m)$
   c. 更新
   $$f_m(\mathbf{x})=f_{m-1}(\mathbf{x})+T(\mathbf{x};{\theta }_m)$$
3. 得到回归问题的Boosting Tree
   $$f_M(\mathbf{x})=\sum _{m=1}^{M}T(\mathbf{x};{\theta }_m)$$

四、Gradient Boosting Decision Tree

当损失函数是平方误差损失函数或指数函数时，每一步优化很简单，但是对于一般的损失函数，优化就会变得比较复杂。Gradient Boosting算法就是针对这一问题提出的。

具体来说，我们希望在第$m$步学习到的基本分类器$f_m(\mathbf{x})$使得$L(y,f_{m-1}(\mathbf{x})+f_m(\mathbf{x}))$尽可能地在$L(y,f_{m-1}(\mathbf{x}))$的基础上变得更小，因此，我们只需要使$L(y,f_{m-1}(\mathbf{x})+f_m(\mathbf{x}))$的值比$L(y,f_{m-1}(\mathbf{x}))$小即可。那么，我们的目标函就变成：
$$\max [L(y,f_{m-1}(\mathbf{x}))-L(y,f_{m-1}(\mathbf{x})+f_m(\mathbf{x}))]$$
又因为在第$m$轮，$f_{m-1}(\mathbf{x})$已经确定，所以把它设为$const$，那么
$$\max [L(y,const)-L(y,const+f_m(\mathbf{x}))]$$

根据泰勒展开，有
$$L(y,const+f_m(\mathbf{x}))\approx L(y,const)+L^{\prime }(y,const)f_m(\mathbf{x})$$
若令$f_m(\mathbf{x})=-L^{\prime }(y,const)$，那么
$$L(y,const+f_m(\mathbf{x}))\approx L(y,const)-L^{\prime }(y,const{)}^2<L(y,const)$$

因此，在第$m$轮，可以用损失函数的负梯度作为残差的近似值，拟合一个回归树。

GBDT的具体流程如下所示：

1. 初始化
   $$f_0(\mathbf{x})=\arg \underset{c}{\min }\sum _{i=1}^{N}L(y_i,c)$$
2. 对$m=1,2,...,M$
   a. 计算残差（负梯度）
   $$r_{mi}=-[\frac{\partial L(y_i,f({\mathbf{x}}_i))}{\partial f({\mathbf{x}}_i)}{]}_{f(\mathbf{x})=f_{m-1}(\mathbf{x})}$$
   b. 拟合残差$r_{m}i$学习一个回归树，得到第$m$棵树的叶结点区域$R_{mj},j=1,2,...,J$
   c. 对$j=1,2,...,J$，计算
   $$c_{mj}=\arg \underset{c}{\min }\sum _{{\mathbf{x}}_i\in R_{mj}}L(y_i,f_{m-1}({\mathbf{x}}_i)+c)$$
   d. 更新
   $$f_m(\mathbf{x})=f_{m-1}(\mathbf{x})+\sum _{j=1}^J{c}_{mj}I(\mathbf{x}\in R_{mj})$$
3. 得到回归问题的Boosting Tree
   $$f_M(\mathbf{x})=\sum _{m=1}^M\sum _{j=1}^J{c}_{mj}I(\mathbf{x}\in R_{mj})$$

五、XGBoost

XGBoost全名叫（Extreme Gradient Boosting）极端梯度提升，是 GBDT的改进版，既可以用于分类也可以用于回归问题中。

XGBoost仍然是加法模型，它将$M$个树（CART树）的结果进行求和，作为最终的预测值，即：
y ^ = ∑ m = 1 M f m ( x ) , f m ∈ F F = { f ( x ) = w q ( x ) } ( q : R n → T , w ∈ R T ) \begin{aligned} \hat{y}= \sum_{m=1}^M f_m(\mathbf{x}),f_m \in \mathcal{F} \\ \mathcal{F} = \{ f(\mathbf{x}) = w_{q(\mathbf{x})}\} (q : \mathbb{R}^n \to T, w \in \mathbb{R}^T) \end{aligned} y^​=m=1∑M​fm​(x),fm​∈FF={f(x)=wq(x)​}(q:Rn→T,w∈RT)​

其中，$\mathcal{F}$是CART树的函数空间，$q$表示一棵树的结构，它将实例映射到对应的叶结点，$T$表示树的叶子结点的个数，$w$表示叶子结点的权重。

XGBoost的目标函数与GBDT相比，增加了正则化项，具体如下：
$$\begin{array}{r}\min \sum _{i=1}^{N}L(y_i,{\hat{y}}_i)+\sum _{m=1}^M\Omega (f_m)\\ \Omega (f)=\gamma T+\frac{1}{2}\lambda ||w|{|}^2\end{array}$$
上式的第一项是损失误差，第二项是正则项，控制树的复杂度，防止过拟合。

根据泰勒展开式：
$$f(x+\Delta x)\approx f(x)+f^{\prime }(x)\Delta x+\frac{1}{2}{f}^{\prime \prime }(x)\Delta x$$

在第$m$轮，目标函数可以改写成：
$$\begin{array}{rl}{L}^{(m)}& =\sum _{i=1}^{N}L(y_i,{\hat{y}}_i^{(m-1)}+f_m({\mathbf{x}}_i))+\gamma T+\frac{1}{2}\lambda \sum _{t=1}^T{w}_t^2\\ & \approx \sum _{i=1}^N[L(y_i,{\hat{y}}_i^{(m-1)})+g_i{f}_m({\mathbf{x}}_i)+\frac{1}{2}{h}_i{f}_m^2({\mathbf{x}}_i)]+\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2\\ & =\sum _{i=1}^N[g_i{f}_m({\mathbf{x}}_i)+\frac{1}{2}{h}_i{f}_m^2({\mathbf{x}}_i)]+\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2+const\end{array}$$

其中，
$$\begin{array}{rl}{g}_i& =\frac{\partial L(y_i,{\hat{y}}_i^{(m-1)})}{\partial {\hat{y}}_i^{(m-1)}}\\ h_i& =\frac{{\partial }^{2}L(y_i,{\hat{y}}_i^{(m-1)})}{\partial {\hat{y}}_i^{(m-1)}}\end{array}$$

分别表示损失函数的一阶和二阶偏导数。

令 I j = { i ∣ q ( x i ) = j } I_j = \{ i | q(\mathbf{x}_i) = j \} Ij​={i∣q(xi​)=j} 表示被分配到第$j$个叶子结点上的实例集合，那么
$$\begin{array}{rl}{L}^{(m)}& =\sum _{j=1}^T[(\sum _{i\in I_j}{g}_i)w_j+(\frac{1}{2}\sum _{i\in I_j}{h}_i)w_j^2]++\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2+const\\ & =\sum _{j=1}^T[(\sum _{i\in I_j}{g}_i)w_j+(\frac{1}{2}\sum _{i\in I_j}{h}_i+\lambda )w_j^2]++\gamma T+const\end{array}$$

令$G_j={\sum }_{i\in I_j}{g}_i$，$H_j={\sum }_{i\in I_j}{h}_i$，对$w_j$求偏导，令其导数为0：
$$\begin{array}{rl}\frac{\partial L^{(m)}}{\partial w_j}& =G_j+(H_j+\lambda )w_j=0\\ w_j^{\ast }& =-\frac{G_j}{H_j+\lambda }\\ L^{(m)\ast }& =-\frac{1}{2}\sum _{j=1}^T\frac{G_j^2}{H_j+\lambda }+\gamma T\end{array}$$

$L^{(m)}$代表了当我们指定一个树结构的时候，我们在目标函数上最多减少多少。一般把它叫做结构分数（structure score），可以认为它是类似Gini系数一样更加一般的对于树结构进行打分的函数。通过上式我们还可以看到，当树结构确定时，树的结构得分只与其一阶导数和二阶导数有关，得分越小，说明结构越好。

通常情况下，我们无法枚举所有可能的树结构然后选取最优的，所以我们选择用一种贪婪算法来代替：我们从单个叶结点开始，迭代分裂来给树添加结点。结点切分后的损失函数为：
$$L_{split}=\frac{1}{2}[\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_R+\lambda }-\frac{(G_L+G_R{)}^2}{H_L+H_R+\lambda }]-\gamma$$

其中，前两项分别表示左子树和右子树的分数，第三项表示不分割可以拿到的分数，最后一项表示加入新叶子结点引入的复杂度代价，它的另一个作用是作为阈值，只有当分裂后的增益大于$\gamma$时，才选择分裂，起到了预剪枝的作用。

上式用来评估切分后的增益，我们的目标是寻找一个特征及对应的值，使得切分后的损失减少得最大。具体流程如下图：

XGBoost在实际的应用过程中还增加了其它一些技巧，如

• 提前终止（Early Stopping）
  通过观察模型在验证集上的错误率，如果它变化不大则可以提前结束训练，控制迭代轮数（即树的个数）；
• 收缩（Shrinkage）
  从迭代的角度可以看成是学习率（learning rate），从集成的角度可以看成每棵树的权重$\alpha$，它的大小经验上可以取0.1，它是对模型泛化性和训练时长的折中；
• 抽样（Subsampling）
  借鉴Bagging的思想，可以在每一轮树的构建中使用训练集中无放回抽样的样本，也可以对特征做抽样，模拟真实场景下的样本分布波动；
• 参数放弃（Dropout）
  模拟深度学习里随机放弃更新权重的方法，可以在每新增一棵树的时候拟合随机抽取的一些树的残差，相关方法可以参考：DART: Dropouts meet Multiple Additive Regression Trees

这里就不再赘述了。

参考

1. 《统计学习方法》
2. 机器学习算法GBDT
3. 机器学习–boosting家族之XGBoost算法
4. xgboost原理
5. XGBoost原理