XGBoost

目录

1.XGBoost推导示意图

2.分裂节点算法

Weighted Quantile Sketch

 3.对缺失值得处理

---

1.XGBoost推导示意图

XGBoost有两个很不错得典型算法，分别是用来进行分裂节点选择和缺失值处理。

Xgboost的原理解释，下面的这个讲的很清楚。 

XGBoost超详细推导，终于有人讲明白了！

另外可以看下这个博客 

XGB算法梳理_futurewq的博客-CSDN博客

树模型(六)：XGBoost_xgboost模型例题_雪伦_的博客-CSDN博客 

2.分裂节点算法

Weighted Quantile Sketch

对于特征切点点得选择，xgboost不单单是采用简单得分位数得方法，而是对分位数进行加权(使用二阶梯度h)，称为:weighted quantile sketch.

对特征k构造multi-set得数据集:,其中表示样本i得特征k得取值，而则为对应得二阶梯度。

 式子中分子是x小于z得所有样本对应得h之和(即小于z得样本加权和，权重为h)，分母为所有样本得加权和。该式子表达了第k个特征小于z得样本比例，和分位数相似，不过这里是按照二阶梯度进行累计。

而候选切分点要求：

 即让相邻两个候选分裂点带入中，相差不超过某个值，由于，最终会切分处,如下面例子：

选取 =1/3，会得到三个桶，h总和1.8，因此.

到这里，xgboost得分裂点选择就讲完了，然后再基于分裂前后得损失大小去判断选择最终得分裂点即可。但是还有个问题需要解答，为什么选择h而不是g或者其他?证明如下：

这里有两个问题

一个是为什么需要加权？ 

现在我们回到xgboost中，在建立第i棵树的时候已经知道数据集在前面i-1棵树的误差，因此采样的时候是需要考虑误差，对于误差大的特征值采样粒度要加大，误差小的特征值采样粒度可以减小，也就是说采样的样本是需要权重的。

为什么用hi加权?

就是上面的那个推导。对于这个直观感受(方便我们理解)，如果损失函数是sqaure loss,即Loss(y,y')=(y-y')^2，则h=2,那么实际上是不带权(每个样本的权重一样)。如果损失函数是Log loss，则h=pred*(1-pred)。这个是个开口朝下的一元二次函数，所以最大值在pred=0.5。当pred在0.5附近，值都比较大，也就是权重都比较大，在切直方图时，我们希望桶比较均匀，因此这部分就会被切分的更细。

 3.对缺失值得处理

xgboost模型得一个优点就是允许特征存在缺失值。对缺失值得处理方式如下：

• 在特征k上寻找最佳split point时，不会对该列特征missing得样本进行遍历，而只对该列特征值为non-missing得样本上对应得特征值进行遍历，通过这个技巧来减少了为稀疏离散特征寻找split point得时间开销
• 在逻辑实现上，为了保证完备性，会将该特征值missing得样本分别分配到左叶子节点和有叶子节点，两种情况都计算一遍后，选择分裂后增益最大得那个方向(左分支或右分支)，作为预测时特征值确实样本得默认分支方向。
• 如果在训练中没有缺失值而在预测中出现缺失，那么会自动将缺失值得划分方向放到右子节点。

xgboost常见面试题：

珍藏版 | 20道XGBoost面试题_无名氏a的博客-CSDN博客_xgboost面试题

【xgboost】常见面试题_数分面试加油的博客-CSDN博客_xgboost 算法面试题目