Xgboost算法梳理

目录

1 算法思想

2 算法原理

3 损失函数

4 分裂结点算法

5 正则化

6 对缺失值处理

7 优缺点

8 应用场景

9 sklearn参数

    官方文档

参数调整注意事项

python 包介绍

10 参考文章

---

1 算法思想

该算法思想就是不断地添加树，不断地进行特征分裂来生长一棵树，每次添加一个树，其实是学习一个新函数，去拟合上次预测的残差。当我们训练完成得到k棵树，我们要预测一个样本的分数，其实就是根据这个样本的特征，在每棵树中会落到对应的一个叶子节点，每个叶子节点就对应一个分数，最后只需要将每棵树对应的分数加起来就是该样本的预测值。

xgboost对应的模型：一堆CART树。

注：wq(x)为叶子节点q的分数，f(x)为其中一棵回归树

如下图例子，训练出了2棵决策树，小孩的预测分数就是两棵树中小孩所落到的结点的分数相加。爷爷的预测分数同理。

 

 

 

2 算法原理

 

 

因此通过上式的改写，我们可以将目标函数改写成关于叶子结点分数w的一个一元二次函数，求解最优的w和目标函数值就变得很简单了，直接使用顶点公式即可。

 

 

3 损失函数

       由上面的原理可知，损失函数进行了二次泰勒展开

4 分裂结点算法

       我们知道基于空间切分去构造一颗决策树是一个NP难问题，我们不可能去遍历所有树结构，因此，XGBoost使用了和CART回归树一样的想法，利用贪婪算法，遍历所有特征的所有特征划分点，不同的是使用上式目标函数值作为评价函数。具体做法就是分裂后的目标函数值比单子叶子节点的目标函数的增益，同时为了限制树生长过深，还加了个阈值，只有当增益大于该阈值才进行分裂。同时可以设置树的最大深度、当样本权重和小于设定阈值时停止生长去防止过拟合

5 正则化

      

注意：这里出现了γ和λ，这是xgboost自己定义的，在使用xgboost时，你可以设定它们的值，显然，γ越大，表示越希望获得结构简单的树，因为此时对较多叶子节点的树的惩罚越大。λ越大也是越希望获得结构简单的树。

6 对缺失值处理

       第缺失值处理也可以说是对稀疏数据的处理，当样本的第i个特征值缺失时，无法利用该特征进行划分时，XGBoost的想法是将该样本分别划分到左结点和右结点，然后计算其增益，哪个大就划分到哪边。算法流程如下：

7 优缺点

优点

1. 使用许多策略去防止过拟合，如：正则化项、Shrinkage and Column Subsampling等。
2. 目标函数优化利用了损失函数关于待求函数的二阶导数
3. 支持并行化，这是XGBoost的闪光点，虽然树与树之间是串行关系，但是同层级节点可并行。具体的对于某个节点，节点内选择最佳分裂点，候选分裂点计算增益用多线程并行。训练速度快。
4. 添加了对稀疏数据的处理，当数据的某个特征缺失时，将该数据划分到默认的子节点，本文提出了一个算法来求解这个默认方向。。
5. 交叉验证，early stop，当预测结果已经很好的时候可以提前停止建树，加快训练速度。
6. 支持设置样本权重，该权重体现在一阶导数g和二阶导数h，通过调整权重可以去更加关注一些样本。
7. XGBoost支持列采样，类似于随机森林，构建每棵树时对属性进行采样，训练速度快，效果好
8. 类似于学习率，学习到一棵树后，对其权重进行缩减，从而降低该棵树的作用，提升可学习空间
9. 构建树的算法包括精确的算法和近似的算法，近似的算法对每维特征加权分位进行分桶，具体的算法利用到了损失函数关于待求树的二阶导数。

缺点

       采用贪心策略来生成决策树的每个节点，颇耗时间以及资源。

8 应用场景

       分类

       回归

9 sklearn参数

    官方文档

https://xgboost.readthedocs.io/en/latest/parameter.html

参数调整注意事项

https://xgboost.readthedocs.io/en/latest/tutorials/param_tuning.html

python 包介绍

https://xgboost.readthedocs.io/en/latest/python/index.html

10 参考文章

https://www.jianshu.com/p/ac1c12f3fba1

https://zhuanlan.zhihu.com/p/40129825

https://xgboost.readthedocs.io/en/latest/tutorials/index.html

https://www.jianshu.com/p/7467e616f227