XGBoost特点、调参、讨论

XGBoost是在GBDT（梯度提升决策树）基础上发展而来。

GBDT含有几个关键点：梯度提升，提升决策树，回归问题。

本质模型为加法模型，基函数为决策树，迭代拟合标注和模型的残差，来不断逼近损失函数最小化。更一般的情况，以当前模型在L负梯度方向的值，作为残差的近似。

XGBoost（eXtreme Gradient Boosting）针对GBDT框架，加入了很多改进点。

1. XGB的特点

（1）传统GBDT以CART作为基函数，xgb还支持线性分类器，此时XGB相当于来L1/L2正则化项的LR（分类）或者Liear R（回归）。

booster [default=gbtree]
设置参数：gbtree: tree-based models/gblinear: linear models

（2）传统GBDT在优化时只用到一阶导数信息（负梯度），xgboost则对代价函数进行了二阶泰勒展开，同时用到一阶和二阶导数。且xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导。

（3）xgboost在代价函数里加入了正则项，控制模型复杂度。正则项里包含了树的叶节点个数、每个叶子节点上输出的score的L2模的平方和。从Bias-variance tradeoff角度来讲，正则项降低了模型variance，使学习出来的模型更加简单，防止过拟合，这也是xgboost优于传统GBDT的一个特性。 剪枝是都有的，叶子节点输出L2平滑是新增的。

（4）shrinkage缩减和column_subsampling
shrinkage缩减：类似于学习速率，在每一步tree boosting之后增加了一个参数n（权重），通过这种方式来减小每棵树的影响力，给后面的树提供空间去优化模型。
column subsampling：列(特征)抽样，随机森林那边学习来的，防止过拟合的效果比传统的行抽样还好（行抽样功能也有），并且有利于后面提到的并行化处理算法。

（5）split finding algorithms(划分点查找算法)
树节点在进行分裂时，我们需要计算每个特征的每个分割点对应的增益，即用贪心法 gr