Xgboost与GBDT的区别

XGBoost是使用梯度提升框架实现的高效、灵活、可移植的机器学习库，全称是eXtreme GradientBoosting，是对于GBDT(GBM)的一个优化以及C++实现。它将树的生成并行完成，从而提高学习速度。 
XGBoost的作者为华盛顿大学陈天奇，并封装了Python接口，随着在机器学习竞赛中的优异表现，其他学者封装完成了R/Julia等接口。 书名：类.XGBoost的作者为华盛顿大学陈天奇，并封装了Python接口，随着在机器学习竞赛中的优异表现，其他学者封装完成了R/Julia等接口。

xgboost里面的基学习器除了用tree(gbtree)，也可用线性分类器(gblinear)。而GBDT则特指梯度提升决策树算法。

xgboost相对于普通gbdt的实现，可能具有以下的一些优势：

1.显式地将树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和作为正则项加在优化目标，用于控制树模型的复杂度。

2.传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下，xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导。

3.允许使用column(feature) sampling来防止过拟合，借鉴了Random Forest的思想，sklearn里的gbm好像也有类似实现。

4.实现了一种分裂节点寻找的近似算法，用于加速和减小内存消耗。

5.节点分裂算法能自动利用特征的稀疏性。

6.Shrinkage（缩减），相当于学习速率（xgboost中的eta）。xgboost在进行完一次迭代后，会将叶子节点的权重乘上该系数，主要是为了削弱每棵树的影响，让后面有更大的学习空间。实际应用中，一般把eta设置得小一点，然后迭代次数设置得大一点。