GBDT和XGBoost

集成学习–GBDT和XGBoost

GBDT和XGBoost是属于集成学习中的Boosting，相较于基本的AdaBoosting算法，这两个算法更加广泛的应用在各种比赛中。

GBDT

GBDT（Gradient Boosting Decision Tree）又称为梯度提升树，其是基于决策树或者回归树为单学习器的集成学习工具。GBDT的基本思想是拟合残差，残差简单的一种有$y_i-f(x_i)$，每个单学习器的输入是上个学习器学习所得的残差（除第一个学习器外），每次迭代都能使得所有数据的损失函数减少，足够多次的迭代后可以通过减少偏差来减少预测误差。

对于每个学习器，也就是分类树或者回归树，假设有$J$个叶子节点，每个叶子节点分为$R_j$区域，学习函数为$h(x)={\sum }_{j=1}^J{c}_{j}I(x\in R_j)$，意思就是如果$x\in R_j$，那么预测结果就是$c_j$。GDBT是基于加法模型即学习器的线性组合，第t次学习的结果就是 $f_t(x)=f_{t-1}(x)+h(x)$。

对于第m个学习器$f_m(x)$来说，如何选择特征进行分支，这就是分类树或者回归树的内容，特征的选择是基于使误差函数$fori=1tom有L(y_i,f_{m-1}(x_i)+c)$最小。实现暴力遍历所有特征，假设以该特征为分支，所得到的预测结果加上之前的预测结果，使之损失函数最小。

那GBDT的梯度是哪里来的呢？其实残差就是梯度，定义$r_i=\frac{\partial L}{\partial f(x_i)}$

对每个样本,就以$(x_1,r_1),(x_2,r_2),\cdots ,(x_m,r_m)$ 作为输入继续学习。如果损失函数是均方差$L(y_i,f(x_i))=\frac{1}{2}{\sum }_{i=1}^m(y_i-f(x_i){)}^2$，即残差就是$y_i-f(x_i)$，整个学习器的模型会向着损失函数减少的梯度前进。

以均方差为损失函数，预测一个人的年龄，若一个人真实年龄为30岁，第一个学习器预测为20岁，残差为10岁，则以10岁为输入预测，第二个学习器预测为5岁，则两个学习器总预测为25岁，残差为5岁，继续学习预测为2岁，加上之前的结果预测为27岁，则一步步接近真实值。

以均方差为损失函数，GBDT算法步骤是

1. 初始化第一颗树$f_0(x_i)={\sum }_{j=1}^J{c}_{j}I(x\in R_j)$，$其中c_j为区域R_j的均值$，且$\frac{1}{2}{\sum }_{i=1}^m(y_i-f_0(x_i){)}^2$取到最小值
2. 取$r_i=y_i-f_0(x_i)$，以$(x_1,r_1),(x_2,r_2),\cdots ,(x_m,r_m)$为下一棵树的训练集
3. 第m棵树的函数为$f_m(x_i)={\sum }_{j=1}^J{c}_{j}I(x\in R_j)$，$其中c_j为区域R_j的均值$，且$\frac{1}{2}{\sum }_{i=1}^m(y_i-（f_{m-1}(x_i)+f_m(x_i){)}^2$取到最小值
4. 当模型误差达到阈值或者迭代次数达到要求时，训练停止

注：不同的损失函数则会有不同的GDBT树

XGBoost

XGBoost是GBDT的改进版，普遍认为是学习性能较好的强学习器，据统计，在2015年Kaggle举办的机器学习比赛中，在29支获胜队伍中，有17支队伍使用了XGBoost算法

先说一下与GBDT相同的东西：

• 每个单学习器也是分类树或者回归树
• 整个模型是加法模型，即各个学习器的线性组合
• 同样是学习上一个学习器的预测残差
• 对于第m个学习器，目的都是使得损失函数${\sum }_{i=1}^{m}L(y_i,f_{m-1}(x_i)+f_m(x_i))$最小

但既然是改进版，当然也会有许多更加优化的步骤

首先我们明确目标，是使得损失函数
$$\sum _{i=1}^{m}l(y_i,\widehat{y_i})最小，其中y_i为真实值，\widehat{y_i}为预测值$$
注：假设数据有m个样本

XGBoost独特的一点是损失函数要加上特殊的L2正则化防止过拟合
$$\begin{gathered} L=\sum _{i=1}^{m}l(y_i,\widehat{y_i})+\sum _{k=1}^K\Omega (f_k),假设有K棵树，即K个学习器 \\ \Omega (f_k)=\gamma T+\sum _{j=1}^T\lambda w_j^2，假设第k棵树有T个叶子节点，每个叶子节点的取值为w_t(同GBDT中的c_j) \\ 这个正则化可以理解为不要使得T（叶子节点过多），不要使得w过大，这两者的权重由\gamma 和\lambda 决定 \end{gathered}$$
对于第t棵树而言，前面t-1棵树的正则化的部分是已知的，因为前面t-1棵树已经生成，每棵树的叶子节点个数和每个叶子节点的评分（即w）已知，所有上述式子变成
$$L=\sum _{i=1}^{m}l(y_i,\widehat{y_i})+\Omega (f_t)+C$$
常数C无关紧要，然后我们可以变形一下
$$\begin{gathered} L=\sum _{i=1}^{m}l(y_i,\widehat{y_i})+\Omega (f_t)+C \\ =\sum _{i=1}^{m}l(y_i,{\widehat{y_i}}^{t-1}+f_t(x_i))+\gamma T+\sum _{j=1}^T\lambda w_j^2+C，解释{\widehat{y_i}}^{t-1}为前面t-1个学习器的预测值 \\ 由泰勒展开f(x+\Delta x)=f(x)+\dot{f}(x)\Delta x+\frac{1}{2}\ddot{f}(x)\Delta x^2 \\ L=\sum _{i=1}^m(l(y_i,{\widehat{y_i}}^{t-1})+\dot{l}(y_i,{\widehat{y_i}}^{t-1})f_t(x_i)+\frac{1}{2}\ddot{l}(y_i,{\widehat{y_i}}^{t-1})f_t(x_i{)}^2)+\gamma T+\sum _{j=1}^T\lambda w_j^2+C \\ 令g_i=\dot{l}(y_i,{\widehat{y_i}}^{t-1}),h_i=\ddot{l}(y_i,{\widehat{y_i}}^{t-1})，对于第t棵树l(y_i,{\widehat{y_i}}^{t-1})已知，则变成 \end{gathered}$$

$$L=\sum _{i=1}^m(g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t(x_i{)}^2)+\gamma T+\sum _{j=1}^T\lambda w_j^2+C1.$$

对于第t棵树的函数$f_t(x)$，可以认为是$f_t(x)=w_{q(x)},其中q(x)=1,2,\cdots ,T$，这个可以理解，上述式子就变成
$$L=\sum _{i=1}^m(g_i{w}_{q(x)}+\frac{1}{2}{h}_i{w}_{q(x)}^2)+\gamma T+\sum _{j=1}^T\lambda w_j^2+C1.（1）$$
进一步变形为
$$\begin{gathered} L=\sum _{j=1}^T((\sum _{x_i\in R_j}{g}_i)w_j+\frac{1}{2}(\sum _{x_i\in R_j}{h}_i)w_j^2)+\gamma T+\sum _{j=1}^T\lambda w_j^2+C1.（2） \\ 解释R_j为第j个叶子节点的区域 \end{gathered}$$
式子（1）是对于样本遍历，将每个样本的$g_i,h_i$及其所属的区域的评分$w_{q(x)}$取函数

式子（2）是对于叶子节点遍历，将每个叶子节点上的样本的$g,h$及其该节点的评分$w_j$取函数，与（1）是等价的

进一步变形
$$L=\sum _{j=1}^T((\sum _{x_i\in R_j}{g}_i)w_j+\frac{1}{2}(\sum _{x_i\in R_j}{h}_i+\lambda )w_j^2)+\gamma T+C1.$$
要想使得$L$最小，则$L$对$w_j$求导并等于0，得

令$G_j={\sum }_{x_i\in R_j}{g}_i,H_j={\sum }_{x_i\in R_j}{h}_i$,有
$$\begin{gathered} \frac{\partial L}{\partial w_j}=G_j+(H_j+\lambda )w_j=0 \\ {w}_j=-\frac{G_j}{H_j+\lambda }. \end{gathered}$$

此时目标函数即损失函数为(将$w_j$代入原式)
$$L=-\frac{1}{2}\sum _{j=1}^T\frac{G_j^2}{H_j+\lambda }+\gamma T$$
我们便可以根据这个最终版本的损失函数来对树进行分支，即对每个可以分支的特征算出上述损失函数的值，求
$$\Delta L=\frac{1}{2}[\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_R+\lambda }-\frac{(G_L+G_R{)}^2}{H_L+H_R+\lambda }]-\lambda$$
上述式子可以理解为树的节点不分裂的损失函数减去二分后左子树的损失函数和右子树的损失函数，因为多了一个节点，所有再减去$\lambda$，这个值越小，说明分支越好。有个疑问为什么越小越好

综上就是XGBoost算法，基本而已。

对于XGBoost更加强大的地方，也是其更加多的使用在比赛或者实际当中，就是XGBoost的运行速度是GDBT的10倍，因为其能够进行大量的并行度的运算，当然，这个并行度不是树与树之间的，因为boositng终究是串行的，一颗树的生成需要前一棵树的数据，这个并行是指树内特征间的并行，也就是如何生成一颗树的速度大大提高，这也是GBDT最耗时的地方

对于更加完整的XGBoost模型，还加载了许许多多很牛逼厉害的东西，比如对缺失值的处理，对内存的优化（还考虑到了cache的命中率）等
详见XGBoost原论文