Xgboost模型

一.Xgboost简介

1.Xgboost是大规模并行boosted tree的工具，它是目前最快最好的开源boosted tree工具包之一，比常见的工具包快10倍以上，他是GB方法里的完全加强版本，也是基于残差优化的算法，希望建立K个回归树，使得树群的预测值尽量接近真实值（准确率）而且有尽量大的泛化能力。

2.Xgboost相对于GBDT的优点：        

（1）传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。        

（2）传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。并且xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导。        

（3）xgboost在代价函数里加入了正则项，用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。从Bias-variance tradeoff角度来讲，正则项降低了模型的variance，使学习出来的模型更加简单，防止过拟合，这也是xgboost优于传统GBDT的一个特性。

（4）列抽样（column subsampling）。xgboost借鉴了随机森林的做法，支持列抽样（随机取一定的列），不仅能降低过拟合，还能减少计算，这也是xgboost异于传统gbdt的一个特性。      

（5）对缺失值的处理。对于特征的值有缺失的样本，xgboost可以自动学习出它的分裂方向。      

（6）xgboost工具支持并行。xgboost的并行是在特征粒度上的。我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），xgboost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。这个block结构也使得并行成为了可能，在进