转载自:Datawhale(ID:Datawhale)
作者:阿泽
本文是决策树的第三篇,主要介绍基于 Boosting 框架的主流集成算法,包括 XGBoost 和 LightGBM。
送上完整的思维导图:
XGBoost
XGBoost 是大规模并行 boosting tree 的工具,它是目前最快最好的开源 boosting tree 工具包,比常见的工具包快 10 倍以上。Xgboost 和 GBDT 两者都是 boosting 方法,除了工程实现、解决问题上的一些差异外,最大的不同就是目标函数的定义。故本文将从数学原理和工程实现上进行介绍,并在最后介绍下 Xgboost 的优点。
1.1 数学原理
1.1.1 目标函数
我们知道 XGBoost 是由 k 个基模型组成的一个加法运算式:
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/4fb232910a29e9b2e0ec7c12986c4f42.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/7d8cfc058ae9a6a88cd078a11893eebf.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/0cc4a19c5ad1855a6f97ecc530faa34a.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/7987d1a9b9b9abfbff6d828781e44102.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/55854a4640487daccfa6ac14d24bfde9.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/2eb8751d64dd799576427de27d028d0b.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/618f61ddeed3502112e9b3af895dae26.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/555bf1670daacc848335031b9fd9ae76.png)
1.1.2 基于决策树的目标函数
我们知道 Xgboost 的基模型不仅支持决策树,还支持线性模型,这里我们主要介绍基于决策树的目标函数。
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/21ff05c8ddf61734b9331e262dfd18cc.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/e15767b76d17b60f2a1c6c0a65675639.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/467163937d792ebf33df00c98eff8ef5.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/13878644fd609cbb961c7a3861424cd1.png)
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/00f451e16cc5931287573f3d089c1f44.jpeg)
1.1.3 最优切分点划分算法
在决策树的生长过程中,一个非常关键的问题是如何找到叶子的节点的最优切分点,Xgboost 支持两种分裂节点的方法——贪心算法和近似算法。
1)贪心算法
-
从深度为 0 的树开始,对每个叶节点枚举所有的可用特征;
-
针对每个特征,把属于该节点的训练样本根据该特征值进行升序排列,通过线性扫描的方式来决定该特征的最佳分裂点,并记录该特征的分裂收益;
-
选择收益最大的特征作为分裂特征,用该特征的最佳分裂点作为分裂位置,在该节点上分裂出左右两个新的叶节点,并为每个新节点关联对应的样本集
-
回到第 1 步,递归执行到满足特定条件为止。
那么如何计算每个特征的分裂收益呢?
假设我们在某一节点完成特征分裂,则分列前的目标函数可以写为:
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/40e4702ef29ab73cfc6447f5e5f589ed.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/93f41b2617c288c7cf54c77676ecaa03.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/7290d2156a11596f21d9a14dd81facc4.png)
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/6dd63115c558c7d9792331ab5a74910c.jpeg)
-
Global: 学习每棵树前就提出候选切分点,并在每次分裂时都采用这种分割;
-
Local: 每次分裂前将重新提出候选切分点。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/88e5655a7c9de1de749884b2ebedb4c9.png)
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/4cb9c1b547ee9a35932471dd3e119f5e.jpeg)
-
第一个 for 循环: 对特征 k 根据该特征分布的分位数找到切割点的候选集合 。 XGBoost 支持 Global 策略和 Local 策略。
-
第二个 for 循环: 针对每个特征的候选集合,将样本映射到由该特征对应的候选点集构成的分桶区间中,即 ,对每个桶统计 G,H 值,最后在这些统计量上寻找最佳分裂点。
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/25a3607b109f0739af2333ca50ef9784.jpeg)
1.1.4 加权分位数缩略图
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/8b1672d513d22a99471c42974063e228.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/56512c240d34f70d767d88e791edeb62.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/3c2a3fc6954cd4f76a969bfaf6dcfe0c.png)
1.1.5 稀疏感知算法
在决策树的第一篇文章中我们介绍 CART 树在应对数据缺失时的分裂策略,XGBoost 也给出了其解决方案。
XGBoost 在构建树的节点过程中只考虑非缺失值的数据遍历,而为每个节点增加了一个缺省方向,当样本相应的特征值缺失时,可以被归类到缺省方向上,最优的缺省方向可以从数据中学到。至于如何学到缺省值的分支,其实很简单,分别枚举特征缺省的样本归为左右分支后的增益,选择增益最大的枚举项即为最优缺省方向。
在构建树的过程中需要枚举特征缺失的样本,乍一看该算法的计算量增加了一倍,但其实该算法在构建树的过程中只考虑了特征未缺失的样本遍历,而特征值缺失的样本无需遍历只需直接分配到左右节点,故算法所需遍历的样本量减少,下图可以看到稀疏感知算法比 basic 算法速度块了超过 50 倍。
1.2 工程实现
1.2.1 块结构设计
我们知道,决策树的学习最耗时的一个步骤就是在每次寻找最佳分裂点是都需要对特征的值进行排序。而 XGBoost 在训练之前对根据特征对数据进行了排序,然后保存到块结构中,并在每个块结构中都采用了稀疏矩阵存储格式(Compressed Sparse Columns Format,CSC)进行存储,后面的训练过程中会重复地使用块结构,可以大大减小计算量。
-
每一个块结构包括一个或多个已经排序好的特征;
-
缺失特征值将不进行排序;
-
每个特征会存储指向样本梯度统计值的索引,方便计算一阶导和二阶导数值。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/ad64d5a795c347a73a94911fbf2e7226.png)
-
块压缩: 对 Block 进行按列压缩,并在读取时进行解压;
-
块拆分: 将每个块存储到不同的磁盘中,从多个磁盘读取可以增加吞吐量。
1.3 优缺点
1.3.1 优点
-
精度更高: GBDT 只用到一阶泰勒展开,而 XGBoost 对损失函数进行了二阶泰勒展开。 XGBoost 引入二阶导一方面是为了增加精度,另一方面也是为了能够自定义损失函数,二阶泰勒展开可以近似大量损失函数;
-
灵活性更强: GBDT 以 CART 作为基分类器,XGBoost 不仅支持 CART 还支持线性分类器,(使用线性分类器的 XGBoost 相当于带 L1 和 L2 正则化项的逻辑斯蒂回归(分类问题)或者线性回归(回归问题))。 此外,XGBoost 工具支持自定义损失函数,只需函数支持一阶和二阶求导;
-
正则化: XGBoost 在目标函数中加入了正则项,用于控制模型的复杂度。 正则项里包含了树的叶子节点个数、叶子节点权重的 L2 范式。 正则项降低了模型的方差,使学习出来的模型更加简单,有助于防止过拟合;
-
Shrinkage(缩减): 相当于学习速率。 XGBoost 在进行完一次迭代后,会将叶子节点的权重乘上该系数,主要是为了削弱每棵树的影响,让后面有更大的学习空间;
-
列抽样: XGBoost 借鉴了随机森林的做法,支持列抽样,不仅能降低过拟合,还能减少计算;
-
缺失值处理: XGBoost 采用的稀疏感知算法极大的加快了节点分裂的速度;
-
可以并行化操作: 块结构可以很好的支持并行计算。
1.3.2 缺点
-
虽然利用预排序和近似算法可以降低寻找最佳分裂点的计算量,但在节点分裂过程中仍需要遍历数据集;
预排序过程的空间复杂度过高,不仅需要存储特征值,还需要存储特征对应样本的梯度统计值的索引,相当于消耗了两倍的内存。
LightGBM
LightGBM 由微软提出,主要用于解决 GDBT 在海量数据中遇到的问题,以便其可以更好更快地用于工业实践中。
从 LightGBM 名字我们可以看出其是轻量级(Light)的梯度提升机(GBM),其相对 XGBoost 具有训练速度快、内存占用低的特点。下图分别显示了 XGBoost、XGBoost_hist(利用梯度直方图的 XGBoost) 和 LightGBM 三者之间针对不同数据集情况下的内存和训练时间的对比:
-
单边梯度抽样算法;
-
直方图算法;
-
互斥特征捆绑算法;
-
基于最大深度的 Leaf-wise 的垂直生长算法;
-
类别特征最优分割;
-
特征并行和数据并行;
-
缓存优化。
2.1 数学原理
2.1.1 单边梯度抽样算法
GBDT 算法的梯度大小可以反应样本的权重,梯度越小说明模型拟合的越好,单边梯度抽样算法(Gradient-based One-Side Sampling, GOSS)利用这一信息对样本进行抽样,减少了大量梯度小的样本,在接下来的计算锅中只需关注梯度高的样本,极大的减少了计算量。
GOSS 算法保留了梯度大的样本,并对梯度小的样本进行随机抽样,为了不改变样本的数据分布,在计算增益时为梯度小的样本引入一个常数进行平衡。具体算法如下所示:
我们可以看到 GOSS 事先基于梯度的绝对值对样本进行排序(无需保存排序后结果),然后拿到前 a% 的梯度大的样本,和剩下样本的 b%,在计算增益时,通过乘上 \frac{1-a}{b} 来放大梯度小的样本的权重。一方面算法将更多的注意力放在训练不足的样本上,另一方面通过乘上权重来防止采样对原始数据分布造成太大的影响。
2.1.2 直方图算法
-
直方图算法
直方图算法的基本思想是将连续的特征离散化为 k 个离散特征,同时构造一个宽度为 k 的直方图用于统计信息(含有 k 个 bin)。利用直方图算法我们无需遍历数据,只需要遍历 k 个 bin 即可找到最佳分裂点。
我们知道特征离散化的具有很多优点,如存储方便、运算更快、鲁棒性强、模型更加稳定等等。对于直方图算法来说最直接的有以下两个优点(以 k=256 为例):
-
内存占用更小: XGBoost 需要用 32 位的浮点数去存储特征值,并用 32 位的整形去存储索引,而 LightGBM 只需要用 8 位去存储直方图,相当于减少了 1/8;
-
计算代价更小: 计算特征分裂增益时,XGBoost 需要遍历一次数据找到最佳分裂点,而 LightGBM 只需要遍历一次 k 次,直接将时间复杂度从 O(#data * #feature) 降低到 O(k * #feature) ,而我们知道 #data >> k 。
虽然将特征离散化后无法找到精确的分割点,可能会对模型的精度产生一定的影响,但较粗的分割也起到了正则化的效果,一定程度上降低了模型的方差。
-
直方图加速
在构建叶节点的直方图时,我们还可以通过父节点的直方图与相邻叶节点的直方图相减的方式构建,从而减少了一半的计算量。在实际操作过程中,我们还可以先计算直方图小的叶子节点,然后利用直方图作差来获得直方图大的叶子节点。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/e6a0aff524c38de3ad4f2bf4bdb8dee0.png)
-
稀疏特征优化
2.1.3 互斥特征捆绑算法
高维特征往往是稀疏的,而且特征间可能是相互排斥的(如两个特征不同时取非零值),如果两个特征并不完全互斥(如只有一部分情况下是不同时取非零值),可以用互斥率表示互斥程度。互斥特征捆绑算法(Exclusive Feature Bundling, EFB)指出如果将一些特征进行融合绑定,则可以降低特征数量。
针对这种想法,我们会遇到两个问题:
-
哪些特征可以一起绑定?
-
特征绑定后,特征值如何确定?
对于问题一:EFB 算法利用特征和特征间的关系构造一个加权无向图,并将其转换为图着色算法。我们知道图着色是个 NP-Hard 问题,故采用贪婪算法得到近似解,具体步骤如下:
-
构造一个加权无向图,顶点是特征,边是两个特征间互斥程度;
-
根据节点的度进行降序排序,度越大,与其他特征的冲突越大;
-
遍历每个特征,将它分配给现有特征包,或者新建一个特征包,是的总体冲突最小。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/0ae77cb969fd70b41afa32a2c2403afa.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/48f5df4c6a01ace1f5c251336b78c2b0.jpeg)
-
Level-wise: 基于层进行生长,直到达到停止条件;
-
Leaf-wise: 每次分裂增益最大的叶子节点,直到达到停止条件。
2.1.5 类别特征最优分割
大部分的机器学习算法都不能直接支持类别特征,一般都会对类别特征进行编码,然后再输入到模型中。常见的处理类别特征的方法为 one-hot 编码,但我们知道对于决策树来说并不推荐使用 one-hot 编码:
-
会产生样本切分不平衡问题,切分增益会非常小。 如,国籍切分后,会产生是否中国,是否美国等一系列特征,这一系列特征上只有少量样本为 1,大量样本为 0。 这种划分的增益非常小: 较小的那个拆分样本集,它占总样本的比例太小。 无论增益多大,乘以该比例之后几乎可以忽略; 较大的那个拆分样本集,它几乎就是原始的样本集,增益几乎为零;
-
影响决策树学习: 决策树依赖的是数据的统计信息,而独热码编码会把数据切分到零散的小空间上。 在这些零散的小空间上统计信息不准确的,学习效果变差。 本质是因为独热码编码之后的特征的表达能力较差的,特征的预测能力被人为的拆分成多份,每一份与其他特征竞争最优划分点都失败,最终该特征得到的重要性会比实际值低。
LightGBM 原生支持类别特征,采用 many-vs-many 的切分方式将类别特征分为两个子集,实现类别特征的最优切分。假设有某维特征有 k 个类别,则有 2^{(k-1)} - 1 中可能,时间复杂度为 O(2^k) ,LightGBM 基于 Fisher 大佬的 《On Grouping For Maximum Homogeneity》实现了 O(klog_2k) 的时间复杂度。
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/6401bd4e5b74172c499e2a1a33a47acd.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/c3c81593a4d29b0cccdce283da7ea657.png)
2.2 工程实现
2.2.1 特征并行
传统的特征并行算法在于对数据进行垂直划分,然后使用不同机器找到不同特征的最优分裂点,基于通信整合得到最佳划分点,然后基于通信告知其他机器划分结果。
传统的特征并行方法有个很大的缺点:需要告知每台机器最终划分结果,增加了额外的复杂度(因为对数据进行垂直划分,每台机器所含数据不同,划分结果需要通过通信告知)。
LightGBM 则不进行数据垂直划分,每台机器都有训练集完整数据,在得到最佳划分方案后可在本地执行划分而减少了不必要的通信。
2.2.2 数据并行
传统的数据并行策略主要为水平划分数据,然后本地构建直方图并整合成全局直方图,最后在全局直方图中找出最佳划分点。
这种数据划分有一个很大的缺点:通讯开销过大。如果使用点对点通信,一台机器的通讯开销大约为 O(#machine * #feature *#bin ) ;如果使用集成的通信,则通讯开销为 O(2 * #feature *#bin ) ,
LightGBM 采用分散规约(Reduce scatter)的方式将直方图整合的任务分摊到不同机器上,从而降低通信代价,并通过直方图做差进一步降低不同机器间的通信。
2.2.3 投票并行
针对数据量特别大特征也特别多的情况下,可以采用投票并行。投票并行主要针对数据并行时数据合并的通信代价比较大的瓶颈进行优化,其通过投票的方式只合并部分特征的直方图从而达到降低通信量的目的。
大致步骤为两步:
-
本地找出 Top K 特征,并基于投票筛选出可能是最优分割点的特征;
-
合并时只合并每个机器选出来的特征。
2.2.4 缓存优化
上边说到 XGBoost 的预排序后的特征是通过索引给出的样本梯度的统计值,因其索引访问的结果并不连续,XGBoost 提出缓存访问优化算法进行改进。
而 LightGBM 所使用直方图算法对 Cache 天生友好:
-
首先,所有的特征都采用相同的方法获得梯度(区别于不同特征通过不同的索引获得梯度),只需要对梯度进行排序并可实现连续访问,大大提高了缓存命中;
-
其次,因为不需要存储特征到样本的索引,降低了存储消耗,而且也不存在 Cache Miss的问题。
-
XGBoost 使用预排序后需要记录特征值及其对应样本的统计值的索引,而 LightGBM 使用了直方图算法将特征值转变为 bin 值,且不需要记录特征到样本的索引,将空间复杂度从 O(2*#data) 降低为 O(#bin) ,极大的减少了内存消耗;
-
LightGBM 采用了直方图算法将存储特征值转变为存储 bin 值,降低了内存消耗;
-
LightGBM 在训练过程中采用互斥特征捆绑算法减少了特征数量,降低了内存消耗。
-
LightGBM 采用了直方图算法将遍历样本转变为遍历直方图,极大的降低了时间复杂度;
-
LightGBM 在训练过程中采用单边梯度算法过滤掉梯度小的样本,减少了大量的计算;
-
LightGBM 采用了基于 Leaf-wise 算法的增长策略构建树,减少了很多不必要的计算量;
-
LightGBM 采用优化后的特征并行、数据并行方法加速计算,当数据量非常大的时候还可以采用投票并行的策略;
-
LightGBM 对缓存也进行了优化,增加了 Cache hit 的命中率。
-
XGBoost: A Scalable Tree Boosting System
-
陈天奇论文演讲 PPT
-
机器学习算法中 GBDT 和 XGBOOST 的区别有哪些? - wepon的回答 - 知乎
-
LightGBM: A Highly Efficient Gradient Boosting Decision Tree
-
LightGBM 文档
-
论文阅读——LightGBM 原理
-
机器学习算法之 LightGBM
-
关于sklearn中的决策树是否应该用one-hot编码? - 柯国霖的回答 - 知乎
-
如何玩转LightGBM
-
A Communicat io n-Efficient Parallel Algorithm for Decision Tree.
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/ca860382512851cb60fb583af10eee2c.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/98c37d3ae188c67fbccade145561fc1a.png)