【ML paper】XGBoost: A Scalable Tree Boosting System

本文是对陈天奇论文《XGBoost: A Scalable Tree Boosting System》的解读，也是对上一篇博文关于陈天奇slides：陈天奇slides：Introduction to Boosted Trees解读解读的补充和扩展，本文不赘述重复部分，建议阅读本篇前先阅读上篇博文。

 

0.学习思路

在论文的初始部分，作者列出的主要贡献：

1.We design and build a highly scalable end-to-end tree boosting system.

2.We propose a theoretically justified weighted quantile sketch for efficient proposal calculation.

3.We introduce a novel sparsity-aware algorithm for parallel tree learning.

4.We propose an effective cache-aware block structure for out-of-core tree learning.

本文也重点分析这几方面。

 

1.BT的介绍

基本原理见上篇博文。

避免过拟合的方法

1.shrinkage

对每个树加入模型时添加权重因子，减少单棵树的影响，为后面树的留出空间来提升模型。

2.列（特征）采样

FR中也有使用，避免过拟合的效果比行采样更好，同时还能提升后面介绍的并行算法的计算速度。

 

分裂点搜索算法

1）贪心

如上文的介绍。

2）近似法

对每个特征，按照样本数量百分比，在所有特征值中取候选分裂点，根据这些分裂点，把样本分进了不同的bucket里。在这些候选分裂点上选取最优的。

这里有几个不同方法：

1）候选分裂点可以全局提取或者每次分裂都提取。

全局选取需要提取更多的候选点，局部选取需要较少，二者效果同等时数量相差10倍左右。

当近似方法候选点数量足够时，效果与贪心法一样。

2）候选点可以使用矩形图或集装箱策略来选取。

 

3）带权百分比分割

我们定义一个集合：

每个数据是样本的第k个特征值和二阶导。

我们再定义一个与该集合有关的排序函数：

表示集合里特征值小于z的样本的二阶导之和所占的比例。

于是，我们选取候选点的规则是：

这里阈值是个近似值，说明我们大概有（1/阈值）个候选点。

在上面的过程中，每个样本相当于有个权值为h，为啥是h呢？我们重写一下目标函数：

可以从中看出，loss相当于是树预测值与g/h的差方，权重就是h。

 

4）稀疏感知分裂方法

实际数据中常有稀疏特征，一般情况为：

1）代表缺失值的数据；

2）数据为0；

3）人工特征，比如one-hot。

解决办法是设定一个默认分支方向，选择默认方向的方法：

1）枚举所有特征；

2）对每个有值的样本升序排序，对每个值计算g和h，加入G和H，记录最大Gain；（相当于默认方向为>）

3）对每个有值的样本降序排序，对每个值计算g和h，加入G和H，记录最大Gain；（相当于默认方向为<）

4）选择Gain最大的默认方向。

这个选择默认方向的方法也能用于其他的候选点选择算法中。

 

2.系统设计

为并行学习设计的列块

这里提出一种数据结构列块，将各特征的所有样本值放在不同列块里：一个列块里是同一特征的所有样本值，列块里的特征值和样本用指针联系缺失值不放入列块。

举个例子：

这样，对列块里特征值的排序可以同时进行，在寻找最优分割点时，不同特征可以同时进行搜索，也能方便列采样。

时间复杂度分析，d是最深树的深度，k是树的数目，n是样本量：

贪心算法：

是有值样本的数量。

使用列块的贪心算法：

前项是寻找最优分裂点时间，后项是一次对有值样本对排序时间。

近似法：

q是候选点数量，通常在32到100之间。

使用列块对近似法：

B是列块中的最大样本数量。

 

缓存感知访问

 

为核外计算设计的块

 

时间原因，论文后部与操作系统相关的实现部分下次再补上。

to be continue...

 

 

参考资料：

论文原文：https://arxiv.org/pdf/1603.02754.pdf

网友的解读：https://zhuanlan.zhihu.com/p/89546007