xgboost与gbdt区别

XGBoost与GBDT
XGBoost与GBDT有什么不同
除了算法上与传统的GBDT有一些不同外，XGBoost还在工程实现上做了大量的优化。
总的来说，两者之间的区别和联系可以总结成以下几个方面。
GBDT是机器学习算法，XGBoost是该算法的工程实现。
在使用CART作为基分类器时，XGBoost显式地加入了正则项来控制模 型的复杂度，有利于防止过拟合，从而提高模型的泛化能力。
GBDT在模型训练时只使用了代价函数的一阶导数信息，XGBoost对代 价函数进行二阶泰勒展开，可以同时使用一阶和二阶导数。
传统的GBDT采用CART作为基分类器，XGBoost支持多种类型的基分类 器，比如线性分类器。
传统的GBDT在每轮迭代时使用全部的数据，XGBoost则采用了与随机 森林相似的策略，支持对数据进行采样。
传统的GBDT没有设计对缺失值进行处理，XGBoost能够自动学习出缺 失值的处理策略。

在理解XGBOOST时，需要借助GBDT的理解，并对两者进行对比，这样的方法更有效率。

XGBOOST与GBDT第一个区别：牛顿法

GBDT 在函数空间中利用梯度下降法进行优化
XGBoost 在函数空间中用牛顿法进行优化

XGBOOST与GBDT的第二个区别：正则项

上面对GBDT中的分析可以知道它是没有正则项的，在XGBOOST中加入了正则项，但是正则项也不是XGBOOST首先加入的，并不是开创了先河。
正则项有什么作用呢？简单来说就是可以是的模型不容易过拟合。正则项对每棵回归树的复杂度进行了惩罚，而复杂度可以用树的深度，内部节点个数，叶子节点个数(T)，叶节点分数(w)等来衡量。

XGBOOST与GBDT的其他区别

对每颗子树增加一个参数，使得每颗子树的权重降低，防止过拟合，增加这个参数叫shrinkage方法。对特征进行降采样，灵感来源于随机森林，除了能降低计算量外，还能防止过拟合。
增加处理缺失值的方案（通过枚举所有缺失值在当前节点是进入左子树，还是进入右子树更优来决定一个处理缺失值默认的方向）。
对每个特征进行分块（block）并排序，使得在寻找最佳分裂点的时候能够并行化计算.这个结构加速了split finding的过程，只需要在建树前排序一次，后面节点分裂时直接根据索引得到梯度信息。这是xgboost比一般GBDT更快的一个重要原因。