xgboost算法

本节主要讲

1.什么是xgboost

2.xgboost的思想

3.xgboost算法中的一些细节

• 划分点打分函数推导

• xgb中避免过拟合的方法总结

• 最优分裂点选择

• 缺失值处理

• 并行计算设计

1.什么是xgboost

xgboost是xetreme gradient boost(极度梯度提升的缩写)，是梯度提升树(GBDT)的一种实现方式，更加高效并且效果更好。

2.xgboost的思想

跟GBDT一样，xgb模型也是加法模型，也是通过不断的新增一棵树来降低偏差。加法模型的表示：
$$\widehat{y_i}=\varphi (x_i)=\sum _{k=i}^{K}f(x_i)$$
其中，每个f(x)都表示一颗CART树。CART树可以分为两个部分，叶子节点和非叶子节点。叶子节点表示划分的类别，每个叶子节点j模型都给出一个预测值$w_j$。非叶子节点代表划分规则$q(x)$。CART树的函数表示为：
$$f(x)=\sum _{j=1}^T{w}_j{I}_j(i|q(x)=j)$$
一棵树的判别过程就是根据划分规则q(x)将样本$x_i$划分到叶节点$I_j$，并将当前叶节点的权重$w_j$作为该样本的预测值。

定义loss函数:
$$L_{total}=\sum _{i=1}^{m}l(y_i,\widehat{y_i})+\sum _{k=1}^K\Omega (f_k)$$
其中$l(y_i,\widehat{y_i})$表示每一个样本的误差；$\Omega (f_k)$表示第k棵树的正则项，论文给出正则项包括以下两部分（树叶节点的个数以及叶节点权重的二范数）。
$$\Omega (f_k)=\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2$$
在第t论迭代时，我们的优化目标时，贪婪的增加一棵树$f_k$最小化损失函数。此时前t-1棵树已知。当前的loss可表示为：
$$L_{total}=\sum _{i=1}^{m}l(y_i,y_i^{t-1}+f_t(x_i))+\sum _{k=1}^{t-1}\Omega (f_k)+\Omega (f_t)$$
使用泰勒二阶展开近似：
$$L^t\simeq \sum _{i=1}^m[l(y_i,y_i^{t-1})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\sum _{k=1}^{t-1}\Omega (f_k)+\Omega (f_t)$$
在t轮迭代时，前t-i棵树是已知的，所以上式中$l(y_i,y_i^{t-1}),{\sum }_{k=1}^{t-1}\Omega (f_k)$这两项是常数。优化目标等价于优化下面目标：
$$\widehat{L^t}=\sum _{i=1}^m[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\Omega (f_t)$$
并且，对样本集的求和等价于先对叶节点求和，在对每个叶节点的所有样本求和，因为每个样本必定属于一个叶节点，且只能属于一个叶节点。即：
$$\widehat{L^t}=\sum _{j=1}^T[\sum _{x_i\in I_j}{g}_i{w}_j+\frac{1}{2}\sum _{x_i\in I_j}{h}_i{w}_j^2]+\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2$$

$$=\sum _{j=1}^T[\sum _{x_i\in I_j}{g}_i{w}_j+\frac{1}{2}(\sum _{x_i\in I_j}{h}_i+\lambda )w_j^2]+\gamma T\text{\hspace{1em}(1)}$$

将公式（1）看做关于w的一元二次函数，根据一元二次方程的最值公式：
$$x^{\ast }=-\frac{b}{2a},y^{\ast }=\frac{4ac-b^2}{4a}$$
可得，在树结构确定的情况下，最优解w和最优值y分别为：
$$w^{\ast }=-\frac{{\sum }_{x_i\in I_j}{g}_i}{{\sum }_{x_i\in I_j}{h}_i+\lambda },L^{\ast }=\gamma T-\sum _{j=1}^T\frac{({\sum }_{x_i\in I_j}{g}_i{)}^2}{2({\sum }_{x_i\in I_j}{h}_i+\lambda )}$$
函数（1）就是根据泰勒二阶展开得到损失函数的等价函数。直观上，我们可以列举每一颗可能的树结构，然后分别计算loss，选择loss最小的模型作为优化后的模型。但是穷举所有可能的树是做不到的。为此，采用贪婪算法，从根节点开始，每次贪婪的对节点进行分类。最终生长成为一棵树（决策树的生成是NP问题，使用启发式的算法求解）。

目的:

每次增加一棵树，使得loss函数最小化。

xgb做法：

3.xgb细节

3.1 分裂点的选择

简单说，就是选择使得loss下降幅度最大的候选点作为分裂点。

假设某一叶节点j，属于该节点样本的一阶导数和，二阶导数和分别为$G={\sum }_{x_i\in I_j}{g}_i,H={\sum }_{x_i\in I_j}{h}_i$那么以此节点为决策树的最优loss值为：
$$\min L=-\frac{1}{2}\frac{G^2}{H+\lambda }+\gamma$$
假设按照某一候选点划分为左右两个子节点后，划分后的最优loss为：
$$-\frac{1}{2}\frac{G_L^2}{H_L+\lambda }-\frac{1}{2}\frac{G_R^2}{H_R+\lambda }+2\gamma$$
则按照此方式分裂后loss下降的幅度为：
$$score=\frac{1}{2}(\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_R+\lambda }-\frac{G^2}{H+\lambda })-\gamma$$
我们将loss下降的幅度作为候选分裂点的得分来选择当前最优的分裂点。上式即为打分函数。

3.2xgb的防止过拟合方法

（1）loss函数中的正则项

$$\Omega (f_k)=\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2$$

（2）shrinkage（收缩）

对每个树的每一个叶子乘以一个缩减权重n，减小每一颗树的影响力，为后面的树留更多的学习空间。

1.为了得到更多的树

2.类似于学习率，更小的学习率可以避免优化过程中loss来回震荡，loss会更平稳的收敛。

（3）列采样

集成学习中，为增加基学习期的多样性，一般有以下方法（参考周志华老师的西瓜书）：

1.数据样本扰动（行采样）

2.特征扰动（列采样）

3.输出表示扰动

4.模型参数扰动

一般将数据样本表示为二维数据，行表示样本数，列表示特征数。所以数据样本扰动称为行采样，特征扰动称为列采样。

3.3分裂查找算法

（1）精确的贪婪算法

遍历每个特征，每个可能的候选点，分别计算score，得分最大最为分裂点。

（2）近似算法

按特征值的分布，设置百分比候选分裂点，然后将特征分通。这样减少了需要搜索的范围。一般按照设置候选分裂点的时间可分为全局近似算法与局部近似算法。

• 全局近似算法：在构造树前，预设所有的候选分裂点。每次分裂从中选择
• 局部近似算法：每次分裂后，重新预设候选分裂点。

两种方式的效果接近，只是全部近似需要的候选分裂点多。

3.4缺失值处理

xgb可自动学习特征缺失值的默认划分方向。

若训练样本的某一维特征存在缺失值，那么在计算该特征的候选分裂点得分时，先不考虑缺失样本，使用未缺失样本进行计算。在每一个候选分裂点得分计算时，分别计算将缺失样本划分到左右子节点的得分。选择得分最高的划分方式作为缺失值的默认划分方向。

3.5并行计算设计

xgb属于boosting，在每棵树的构建是串行的。只是在当前树构建时，选择最优划分点时进行了并行化处理。xgb算法的耗时主要在于选择最优分类点时，对节点按特征值进行排序。xgb在构建前，将数据存入block中，每列按照特征值排好序。避免了每次都进行排序的操作。多个特征的候选分裂点得分计算并行。

参考：

[1]陈天奇的论文 XGBoost: A Scalable Tree Boosting Systerm

[2]知乎详解：https://zhuanlan.zhihu.com/p/92837676