XGBoost论文阅读

1. Main Work

1.1Tree Boosting with Loss function

假设给定一个数据集$D$中有$n$个样本，每个样本有$m$维特征，通过训练数据集$D$，我们得到$k$棵树。这$k$棵树累加的值就是我们的预测值。
$${\hat{y}}_i=\sum _{k=1}^k{f}_k(x_i)f_k\in \mathcal{F}$$
其中$f_k(x_i)$表示第$k$棵树预测$x_i$，$\mathcal{F}$表示树的集合
目标函数：
$$obj=\sum _{i=1}^{n}l(y_i,{\hat{y}}_i)+\sum _{k=1}^k\Omega (f_k)$$

$l(y_i,{\hat{y}}_i)$是损失函数，根据具体的问题，损失函数可以做不同的设定，回归是MSE，分类是交叉熵。$\Omega (f_k)$是树的复杂度，也是正则项，减少过拟合。
$$\Omega (f_k)=\gamma T+\lambda \sum _{i=1}^T{w}_j^2$$
$T$表示叶节点的个数，$w_j^2$表示叶节点的值。

1.2Gradient Tree Boosting

对于损失函数我们可以将它预测值展开层$k$棵树的预测值叠加的形式，在$t$次迭代中，我们可以将树展开成：
$$y_i=\sum _{k=1}^t{f}_k(x_i)=f_1(x_i)+f_2(x_i)+...+f_{t-1}(x_i)+f_t(x_i)$$
但我们训练第$k$棵树的时候
$$obj=\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(k-1)}+f_k(x_i))+\sum _{i=1}^{k-1}\Omega (f_i)+\Omega (f_k)$$
去除已知项，则$obj$：
$$obj=\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(k-1)}+f_k(x_i))+\Omega (f_k)$$
对上式进行二阶泰勒展开得到如下近似目标函数：
$$\begin{gathered} ob{j}_k\approx \sum _{i=1}^n[l(y_i,{\hat{y}}_i^{(k-1)})+{\partial }_{{\hat{y}}^{(k-1)}}l(y_i,{\hat{y}}_i^{(k-1)})f_k(x_i)+\frac{1}{2}{\partial }_{{\hat{y}}^{(k-1)}}^{2}l(y_i,{\hat{y}}_i^{(k-1)})f_k^2(x_i)]+\Omega (f_k) \\ =\sum _{i=1}^n[l(y_i,{\hat{y}}_i^{(k-1)})+g_i{f}_k(x_i)+\frac{1}{2}{h}_i{f}_k^2(x_i)]+\Omega (f_k) \end{gathered}$$
当前模型已知，也就是当前模型对训练数据的误差已知，为常量，对目标函数的优化没有影响，移除得到如下的目标函数：
$$\begin{gathered} ob{j}_k=\sum _{i=1}^n[g_i{f}_k(x_i)+\frac{1}{2}{h}_i{f}_k^2(x_i)]+\gamma T+\lambda \sum _{i=1}^T{w}_j^2 \\ =\sum _{j=1}^T[(\sum _{i\in I_j}{g}_i)w_j+\frac{1}{2}(\sum _{i\in I_j}{h}_i+\lambda )w_j^2]+\gamma T \end{gathered}$$
对$w_j$这个二元一次函数取最小值，所以：
$$w_j^{\ast }=\frac{{\sum }_{i\in I_j}{g}_i}{{\sum }_{i\in I_j}{h}_i+\lambda }$$
$$ob{j}^{\ast }=-\frac{1}{2}\sum _{j=1}^T\frac{({\sum }_{i\in I_j}{g}_i{)}^2}{{\sum }_{i\in I_j}{h}_i+\lambda }+\gamma T$$
此时已知一棵树的形状的时候，就能够求出这棵树对应的$w_j$和$ob{j}_k$,一个方法是把所有可能的树的形状全列出来，分别计算$ob{j}_k^{(i)}$。选择最小的那个$ob{j}_k$返回对应的树形状。但是这么做存在一个问题，就是随着数据的增大，确定树的个数是指数级上升的，存在巨大的计算量。所以文章下面的部分就是考虑如何分裂树结构。选择合适的feature作为分割点，将数据分割到两边，用$ob{j}_k^{old}-ob{j}_k^{new}$的最大值的那个特征作为split的条件：
$$Ob{j}_{split}=\frac{1}{2}[\frac{({\sum }_{i\in I_L}{g}_i{)}^2}{{\sum }_{i\in I_L}{h}_i+\lambda }+\frac{({\sum }_{i\in I_R}{g}_i{)}^2}{{\sum }_{i\in I_R}{h}_i+\lambda }-\frac{({\sum }_{i\in I}{g}_i{)}^2}{{\sum }_{i\in I}{h}_i+\lambda }]-\gamma$$

2.split finding algorithms

2.1exact greedy algorithm

exact greedy algorithm是一种切分点查找算法，如Algorithm 1所示。该算法对于每一个feature，试图枚举出所有可能的切分点，并计算在每一个切分点上的增益，从而选择增益最好的切分点。在algorithm1中要枚举出所有的可能的切分点，算法是首先对所有训练数据对feature k的取值进行排序，这样就能轻易地枚举出所有的切分点。

2.2Approximate Algorithm

exact greedy algorithm很强大，但当训练数据量太大以至于无法完全读进内存或者运行在分布式计算资源上，就有问题了。所以论文总结了一种approximate algorithm, 如algorithm 2

algorithm2针对feature k先是根据特征分布的percentile列出了L个待选切分点（candidate splitting point），切分点值的集合$S_k$，之后根据$Ob{j}_{split}$公式分别计算这些待选切分点的增益，选择增益最好的切分点。根据feature k大小不同——是在训练的一开始就对全部训练数据的feature k列出待选切分点还是对分到某个结点上的训练数据的feature k，approximate algorithm有两种变体——global、local.

2.3Sparsity-aware Split Finding

在实际场景中，数据缺失很常见，如果某实例点的特征值缺失，上述算法无法将该实例点分到任一子结点。对此论文提出了稀疏感知的切分点查找算法。原理大概是对于特征值缺失的实例点，分别将其分到左右子结点，计算增益，选择增益最好的划分方式作为该特征缺失情况下的默认划分。

参考

https://blog.csdn.net/w928485096/article/details/90107568
https://arxiv.org/pdf/1603.02754.pdf