【论文笔记】XGBoost论文阅读笔记

2. xgboost模型

$$L^{(t)}=\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))+\Omega (f_t)$$
损失函数二阶泰勒展开
$$L^{(t)}=\sum _{i=1}^n[l(y_i,{\hat{y}}^{(t-1)})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\Omega (f_t)$$，其中 $g_i={\partial }_{{\hat{y}}^{(t-1)}}l(y_i,{\hat{y}}^{(t-1)})$， $h_i={\partial }_{{\hat{y}}^{(t-1)}}^{2}l(y_i,{\hat{y}}^{(t-1)})$

去掉当中的常数项
$$L^{(t)}=\sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\Omega (f_t)$$

将正则化项展开
$$\begin{gathered} L^{(t)}=\sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2 \\ =\sum _{j=1}^T[(\sum _{i\in I_j}{g}_i)w_j+\frac{1}{2}(\sum _{i\in I_j}{h}_i+\lambda )w_j^2]+\gamma T \end{gathered}$$
其中 I j = { i ∣ q ( x i ) = j } I_j = \{i |q(x_i) = j \} Ij​={i∣q(xi​)=j} 表示一个叶子节点 j； $q(x_i)=j$ 表示一个样本$x_i$经过树结构$q(x)$到达了叶子节点 $j$

那么对于任何一个固定的树结构$q(x)$，我们都能够得到叶子节点的最优的权重$w_j^{\ast }$，以及对应的最小损失
$$w_j^{\ast }=-\frac{{\sum }_{i\in I_j}{g}_i}{{\sum }_{i\in I_j}{h}_i+\lambda }$$
$$L^{(t)}(q)=-\frac{1}{2}\sum _{j=1}^T\frac{({\sum }_{i\in I_j}{g}_i{)}^2}{{\sum }_{i\in I_j}{h}_i+\lambda }+\gamma T$$

这个损失函数有多种用途，例如用来做节点的切分
$$L_{split}=\frac{1}{2}[\frac{({\sum }_{i\in I_L}{g}_i{)}^2}{{\sum }_{i\in I_L}{h}_i+\lambda }+\frac{({\sum }_{i\in I_R}{g}_i{)}^2}{{\sum }_{i\in I_R}{h}_i+\lambda }-\frac{({\sum }_{i\in I}{g}_i{)}^2}{{\sum }_{i\in I}{h}_i+\lambda }]+\gamma T$$

2.3 xgboost避免过拟合的方法

• 加入了正则化项
• Shrinkage: 将新加入的树，增加一个缩放因子 $\eta$
  • 减小了单棵树的影响，将优化空间给了未来增加的树
• Column Subsampling: 列采样，类似于随机森林当中的技术（除了避免过拟合以外，还能够并行加速计算）

3. 如何加速寻找切分点

• Basic Exact greedy algorithm: 基本的节点分裂算法，需要遍历每一个特征的每一个位置，去计算最优的切分点
• quantile strategy(分位点策略): 改进的切分方法：对每个特征选择一些候选的分割点，根据特征分布百分比
  • global proposal: 在数据初始化的时候，就将每个特征的分位点固定下来，每次分裂的时候使用同样的分位点
    • 优点：步骤少，但是需要更多的分位点，才能达到比较好的效果
  • local proposal: 在每次切分的时候都重新定义候选切分点集合，对更深的树比较合理
• weighted Quantile Sketch: 这里没看懂
• Sparsity-aware Split Finding（能加速50倍左右）: 有可能有多种原因造成的数据稀疏，在该值缺失时，分到一个默认的方向，这个方向是算法自己学到的

4. 系统设计

• 4.1 Column Block for Parallel Learning，每个block当中的feature值是排序的，这个的好处特别多
• 4.2 Cache-aware Access: 这一块也不是很懂，不过大意是，block过小影响并行化效率，block过大导致缓存失效
• 4.3 Blocks for Out-of-core Computation: 如何使用外存
  • Block Compression： 块数据压缩
  • Block Sharding: 块数据分片，将一块数据分散到多块硬盘，读取的时候可以同时读取，增加吞吐量

问题

• 树的梯度如何计算？一阶梯度，二阶梯度

Demo