高级算法梳理之GBDT（梯度提升决策树）

上一部分讲了集成程序的概念，其中介绍了了bagging优化的随机森林算法，本文讲述基于Boosting算法的梯度提升决策树算法（GBDT）。

1、加法模型

我们将$f\left(x\right)={\sum }_{m=1}^M{\beta }_{m}b\left(x;{\gamma }_m\right)$定义为加法模型，其中$b\left(x;{\gamma }_m\right)$为基函数，${\gamma }_m$为基函数的参数，${\beta }_m$为基函数的系数，它表示基函数在加法模型中的重要程度。

2、前向分布算法

基于上述加法模型，当给定数据以及损失函数时，学习加法模型就变成了极小化经验损失函数，即$$\underset{{\beta }_m,{\gamma }_m}{\min }\sum _{i=1}^{N}L\left(y_i,f\left(x\right)\right)$$这里需要极小化每一步生成的基函数的损失之和，但是这是一件很困难的事情，为了解决这个问题，提出了前向分布算法。前向分布算法的一个优化思想是，由于学习的是加法模型，如果能从前向后每次只学习一个基函数及其系数，逐步逼近优化目标函数（极小化经验损失函数）。这样就可以降低复杂度，使得每一步只需要优化
$$\underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L\left(y_i,\beta \left(x_i;\gamma \right)\right)$$
也就是说，我们每次学习一个基学习器，只针对基学习器进行优化，来达到降低损失函数的目的。基本的算法流程


这样我们就将同时求解从m=1到M所有参数${\beta }_m$和${\gamma }_m$的优化问题简化为逐次求解各个${\beta }_m$和${\gamma }_m$的优化问题。

3、梯度提升树（GBDT）

3.1、训练过程

GBDT通过多轮迭代，使用前向分布算法，对弱分类器的要求一般是足够简单，并且是低方差和高偏差，一般会选择CART（分类回归树），并且每个分类回归树都不会太深，最终的总分类器 是将每轮训练得到的弱分类器加权求和得到的（也就是加法模型）

3.2、迭代思路

假设我们前一轮迭代得到的强学习器是$f_{t-1}\left(x\right)$，损失函数为$L\left(y,f_{t-1}\left(x\right)\right)$，我们本轮的目的就是找到一个CART回归树模型的弱学习器$h_t\left(x\right)$，使得本轮的损失函数$$L\left(y,f_t\left(x\right)\right)=L\left(y,f_{t-1}\left(x\right)+h_t\left(x\right)\right)$$最小。也就是说，本轮迭代的CART决策树要使得本轮损失最小。

3.3、负梯度拟合

如何计算本轮的损失是很困难的，Freidman提出了用损失函数的负梯度来拟合本轮损失的近似值，进而拟合一个CART回归树。
第t轮第i个样本的损失函数的负梯度表示为$${\gamma }_{ti}=-\left[\frac{\partial L\left(y_i,f\left(x_i\right)\right)}{\partial f\left(x_i\right)}\right]$$利用 $\left(x_i,{\gamma }_{ti}\right)$ ，来拟合第t颗CART回归树，其对应的叶节点区域$R_{tj}$。其中J为叶子节点的个数。
针对每一个叶子节点里的样本，我们求出使损失函数最小的$c_{tj}$ $$c_{tj}=\underset{c}{\underbrace{argmin}}\sum _{x_i\subseteq R_{tj}}L\left(y_i,f_{t-1}\left(x_i\right)+c\right)$$即本轮的决策树拟合函数$$h_t\left(x\right)=\sum _{j=1}^J{c}_{tj}I\left(x\in R_{tj}\right)$$从而本轮最终得到的强学习器的表达式$$f_t\left(x\right)=f_{t-1}\left(x\right)+\sum _{j=1}^J{c}_{tj}I\left(x\in R_{tj}\right)$$通过损失函数的负梯度来拟合，我们找到了一种通用的拟合损失误差的办法，这样无轮是分类问题还是回归问题，我们通过其损失函数的负梯度的拟合，就可以用GBDT来解决我们的分类回归问题。

3.4、回归算法流程

3.5、分类算法

这里我们再看看GBDT分类算法，GBDT的分类算法从思想上和GBDT的回归算法没有区别，但是由于样本输出不是连续的值，而是离散的类别，导致我们无法直接从输出类别去拟合类别输出的误差。

为了解决这个问题，主要有两个方法，一个是用指数损失函数，此时GBDT退化为Adaboost算法。另一种方法是用类似于逻辑回归的对数似然损失函数的方法。也就是说，我们用的是类别的预测概率值和真实概率值的差来拟合损失。本文仅讨论用对数似然损失函数的GBDT分类。而对于对数似然损失函数，我们又有二元分类和多元分类的区别。

3.5.1、二元分类

3.5.2、多元分类

4、GBDT正则化

1、加入步长因子防止过拟合，取值范围在（0,1）
2、（不放回）子采样比例，取值范围(0,1]，推荐0.5~0.8
3、弱学习器（CART回归树）进行正则化剪枝，参考决策树原理内容

优缺点

GBDT主要的优点有：

1) 可以灵活处理各种类型的数据，包括连续值和离散值。

2) 在相对少的调参时间情况下，预测的准确率也可以比较高。这个是相对SVM来说的。

3）使用一些健壮的损失函数，对异常值的鲁棒性非常强。比如 Huber损失函数和Quantile损失函数。

GBDT的主要缺点有：

1)由于弱学习器之间存在依赖关系，难以并行训练数据。不过可以通过自采样的SGBT来达到部分并行。

5、sklearn参数

在sacikit-learn中，GradientBoostingClassifier为GBDT的分类类， 而GradientBoostingRegressor为GBDT的回归类。两者的参数类型完全相同，当然有些参数比如损失函数loss的可选择项并不相同。我们把重要参数分为两类，第一类是Boosting框架的重要参数，第二类是弱学习器即CART回归树的重要参数。下面我们就从这两个方面来介绍这些参数的使用。

5.1、GBDT类库boosting框架参数

5.2、GBDT类库弱学习器参数

6、案例分析

GBDT调参实例

这里我们用一个二元分类的例子来讲解下GBDT的调参。这部分参考了这个Github上的数据调参过程Parameter_Tuning_GBM_with_Example。这个例子的数据有87000多行，完整代码参见github: https://github.com/ljpzzz/machinelearning/blob/master/ensemble-learning/gbdt_classifier.ipynb
这里有一篇讲解GBDT个人感觉比价好的传送门