xgboost理论推导

xgboost王牌集成学习算法

知乎答主写的这一篇太棒了，戳这里

原论文

算法大致架构

算法流程

模型依赖关系

引出损失函数

使用泰勒展式优化损失

参数化损失函数

二次函数优化损失求极值

损失差极大化确定特征条件

结论

一般化结构分数：

注意泰勒展式推导中 $g_i$ 含义

$${\text{ Score }}_j=\frac{{\left({\sum }_{i\in j}{g}_i\right)}^2}{{\sum }_{i\in j}{h}_i+\lambda }$$

$${\mathrm{Score}}_j=\frac{\text{ 节点 }j\text{ 上所有样本的一阶导数之和的平方 }}{\text{ 节点 }j\text{ 上所有样本的二阶导数之和 }+\lambda }$$

$$\begin{array}{rl}ob{j}_{old}^{\ast }-ob{j}_{new}^{\ast }=\text{ Gain }& =\frac{1}{2}\left({\text{ Score }}_L+{\text{ Score }}_R-\text{ Score }\right)-\gamma \\ & =\frac{1}{2}\left(\frac{{\left({\sum }_{i\in L}{g}_i\right)}^2}{{\sum }_{i\in L}{h}_i+\lambda }+\frac{{\left({\sum }_{i\in R}{g}_i\right)}^2}{{\sum }_{i\in R}{h}_i+\lambda }-\frac{{\left({\sum }_{i\in P}{g}_i\right)}^2}{{\sum }_{i\in P}{h}_i+\lambda }\right)-\gamma \end{array}$$

这即是说，结构分数增益实际上就是:

$$\text{ Gain }=\text{ 左节点的结构分数 + 右节点的结构分数 }-\text{ 父节点的结构分数 }$$

我们选择增益$Gain$ 最大的点进行分枝。

损失差极大化好像和模型复杂度的超参数γ没有关系…俺也不知道为啥

知道啥用了，在每个树模型生成时，虽然超参数γ不能改变树的特征选择过程，但是若信息增益值小于γ了，虽然是最优的方案，但是这个分割也不能作为树生长条件，因为信息增益减去γ小于零，没有价值，就这样限制了树模型的生长（不影响最优特征的选择），另外sklearn是先生成所有树模型，然后根据信息增益减去超参数γ的正负值进行剪枝。

在XGBoost中，我们追求一棵树整体的结构分数最大，因此XGBoost规定任意结构的分数增 益不能为负，任意增益为负的节点都会被前枝，因此可以默认有:

$$\frac{1}{2}\left(\frac{{\left({\sum }_{i\in L}{g}_i\right)}^2}{{\sum }_{i\in L}{h}_i+\lambda }+\frac{{\left({\sum }_{i\in R}{g}_i\right)}^2}{{\sum }_{i\in R}{h}_i+\lambda }-\frac{{\left({\sum }_{i\in P}{g}_i\right)}^2}{{\sum }_{i\in P}{h}_i+\lambda }\right)-\gamma >0$$

因此:

$$\frac{1}{2}\left(\frac{{\left({\sum }_{i\in L}{g}_i\right)}^2}{{\sum }_{i\in L}{h}_i+\lambda }+\frac{{\left({\sum }_{i\in R}{g}_i\right)}^2}{{\sum }_{i\in R}{h}_i+\lambda }-\frac{{\left({\sum }_{i\in P}{g}_i\right)}^2}{{\sum }_{i\in P}{h}_i+\lambda }\right)>\gamma$$

这是说，当参数 $\gamma$ 为 $0$ 时，任意增益为负的节点都会被剪枝。当 $\gamma$ 为任意正数 时，任意增益小于 $\gamma$ 设定值的节点都会被剪枝。不难发现，$\gamma$ 在剪枝中的作用 就相当于sklearn中的 $min\_impurity\_decrease$。

计算过程举例

致谢贪心学院李文哲老师

最优切分店选择

来自知乎

支持并行

关于预排序

为什么预排序：因为在通过结构分数计算Gain收益过程中，我们需要计算左右子树的结构分数？
假设样本值为：[ 3 , 33 , 16 ,23 ,4 ],左右子树方向条件是：> M为左节点，否则为右节点，那么我们通过排序后[ 33 , 23 , 16 , 4 , 3]，那么先将第一个[33]放在左，计算一下，然后[33 , 23]放在左，[ 33 ,23 16]放在左,再然后[ 33 , 23 , 16 , 4 ] 最后比较Gain值，若不进行排序，那么需要在确定M时对于谁去左谁去右都要遍历查找一下，就会造成时间效率低的情况。