XGBoost原理

说到xgboost，不得不说gbdt。了解gbdt可以看我这篇文章 地址，gbdt无论在理论推导还是在应用场景实践都是相当完美的，但有一个问题：第n颗树训练时，需要用到第n-1颗树的（近似）残差。从这个角度来看，gbdt比较难以实现分布式（ps：虽然难，依然是可以的，换个角度思考就行），而xgboost从下面这个角度着手 

注：红色箭头指向的l即为损失函数；红色方框为正则项，包括L1、L2；红色圆圈为常数项。 
利用泰勒展开三项，做一个近似，我们可以很清晰地看到，最终的目标函数只依赖于每个数据点的在误差函数上的一阶导数和二阶导数。

3.原理

（1）定义树的复杂度 
对于f的定义做一下细化，把树拆分成结构部分q和叶子权重部分w。下图是一个具体的例子。结构函数q把输入映射到叶子的索引号上面去，而w给定了每个索引号对应的叶子分数是什么。 

定义这个复杂度包含了一棵树里面节点的个数，以及每个树叶子节点上面输出分数的L2模平方。当然这不是唯一的一种定义方式，不过这一定义方式学习出的树效果一般都比较不错。下图还给出了复杂度计算的一个例子。 

注：方框部分在最终的模型公式中控制这部分的比重 
在这种新的定义下，我们可以把目标函数进行如下改写，其中I被定义为每个叶子上面样本集合 

  

 

这一个目标包含了TT个相互独立的单变量二次函数。我们可以定义

 

 

最终公式可以化简为

 

 

通过对求导等于0，可以得到

 

 

然后把最优解代入得到：

 

 

（2）打分函数计算示例

Obj代表了当我们指定一个树的结构的时候，我们在目标上面最多减少多少。我们可以把它叫做结构分数(structure score)

（3）枚举不同树结构的贪心法

贪心法：每一次尝试去对已有的叶子加入一个分割

 

 

对于每次扩展，我们还是要枚举所有可能的分割方案，如何高效地枚举所有的分割呢？我假设我们要枚举所有x < a 这样的条件，对于某个特定的分割a我们要计算a左边和右边的导数和。

 

 

我们可以发现对于所有的a，我们只要做一遍从左到右的扫描就可以枚举出所有分割的梯度和GL和GR。然后用上面的公式计算每个分割方案的分数就可以了。

观察这个目标函数，大家会发现第二个值得注意的事情就是引入分割不一定会使得情况变好，因为我们有一个引入新叶子的惩罚项。优化这个目标对应了树的剪枝， 当引入的分割带来的增益小于一个阀值的时候，我们可以剪掉这个分割。大家可以发现，当我们正式地推导目标的时候，像计算分数和剪枝这样的策略都会自然地出现，而不再是一种因为heuristic（启发式）而进行的操作了。