本文是对陈天奇论文《XGBoost: A Scalable Tree Boosting System》的解读,也是对上一篇博文关于陈天奇slides:陈天奇slides:Introduction to Boosted Trees解读解读的补充和扩展,本文不赘述重复部分,建议阅读本篇前先阅读上篇博文。
0.学习思路
在论文的初始部分,作者列出的主要贡献:
1.We design and build a highly scalable end-to-end tree boosting system.
2.We propose a theoretically justified weighted quantile sketch for efficient proposal calculation.
3.We introduce a novel sparsity-aware algorithm for parallel tree learning.
4.We propose an effective cache-aware block structure for out-of-core tree learning.
本文也重点分析这几方面。
1.BT的介绍
基本原理见上篇博文。
避免过拟合的方法
1.shrinkage
对每个树加入模型时添加权重因子,减少单棵树的影响,为后面树的留出空间来提升模型。
2.列(特征)采样
FR中也有使用,避免过拟合的效果比行采样更好,同时还能提升后面介绍的并行算法的计算速度。
分裂点搜索算法
1)贪心
如上文的介绍。
2)近似法
对每个特征,按照样本数量百分比,在所有特征值中取候选分裂点,根据这些分裂点,把样本分进了不同的bucket里。在这些候选分裂点上选取最优的。
这里有几个不同方法:
1)候选分裂点可以全局提取或者每次分裂都提取。
全局选取需要提取更多的候选点,局部选取需要较少,二者效果同等时数量相差10倍左右。
当近似方法候选点数量足够时,效果与贪心法一样。
2)候选点可以使用矩形图或集装箱策略来选取。
3)带权百分比分割
我们定义一个集合:
每个数据是样本的第k个特征值和二阶导。
我们再定义一个与该集合有关的排序函数:
表示集合里特征值小于z的样本的二阶导之和所占的比例。
于是,我们选取候选点的规则是:
这里阈值是个近似值,说明我们大概有(1/阈值)个候选点。
在上面的过程中,每个样本相当于有个权值为h,为啥是h呢?我们重写一下目标函数:
可以从中看出,loss相当于是树预测值与g/h的差方,权重就是h。
4)稀疏感知分裂方法
实际数据中常有稀疏特征,一般情况为:
1)代表缺失值的数据;
2)数据为0;
3)人工特征,比如one-hot。
解决办法是设定一个默认分支方向,选择默认方向的方法:
1)枚举所有特征;
2)对每个有值的样本升序排序,对每个值计算g和h,加入G和H,记录最大Gain;(相当于默认方向为>)
3)对每个有值的样本降序排序,对每个值计算g和h,加入G和H,记录最大Gain;(相当于默认方向为<)
4)选择Gain最大的默认方向。
这个选择默认方向的方法也能用于其他的候选点选择算法中。
2.系统设计
为并行学习设计的列块
这里提出一种数据结构列块,将各特征的所有样本值放在不同列块里:一个列块里是同一特征的所有样本值,列块里的特征值和样本用指针联系缺失值不放入列块。
举个例子:
这样,对列块里特征值的排序可以同时进行,在寻找最优分割点时,不同特征可以同时进行搜索,也能方便列采样。
时间复杂度分析,d是最深树的深度,k是树的数目,n是样本量:
贪心算法:
是有值样本的数量。
使用列块的贪心算法:
前项是寻找最优分裂点时间,后项是一次对有值样本对排序时间。
近似法:
q是候选点数量,通常在32到100之间。
使用列块对近似法:
B是列块中的最大样本数量。
缓存感知访问
为核外计算设计的块
时间原因,论文后部与操作系统相关的实现部分下次再补上。
to be continue...
参考资料:
论文原文:https://arxiv.org/pdf/1603.02754.pdf
网友的解读:https://zhuanlan.zhihu.com/p/89546007