机器学习BOOST总结

XGBOOST算法基础

其核心规则是回归树，与决策树类似，区别在于回归树预测实数值，决策树是类标签，也就是回归树的每一个叶节点是实数，最终结果是实数的累加，如果分到叶子结点的训练样本预测值不唯一的时候，以所有样本预测值的均值作为叶子结点输出的预测值。回归树解决分类问题时，也是基于回归树，而不是决策树。

在回归树（base learner）的基础上，通过数增强（Tree Ensemble）的方式来加强模型的预测能力，比如gbdt、rf等都是基于这种理论，使得模型对特征不敏感，无需对特征进行归一化处理。

可以把回归树当做一个从特征空间到预测值的映射函数。将问题简化为，如何调整到适合的参数，并设计优化目标，使得预测结果最佳。xgboost里引入了泰勒展开来近似和简化优化目标。

对于每一轮迭代即每一棵树，如何找到该轮迭代的最优的树结构，找到这一轮的参数呢，我们采用一种贪心算法。

1 初始：从树只有一个结点，不分裂开始

2 迭代：对于每一个叶结点，根据增益分裂结点。

在分裂结点的时候，如何找到该次分裂最佳的分割点呢？实现方法是：遍历所有特征，对每个特征将样本按这个特征排好序，从左向右，依次遍历。每次遍历，向左边加入一个结点，向右边减掉这个结点，然后计算此时的gain。最后选择gain最大的特征的最佳分割点作为该次分裂的分割点。

gain可能为负。即当训练损失的下降小于正则项的时候。

这时候有两种策略：pre_stopping和post_pruning：

pre_stopping:当gain<0时，停止分裂。但是这有一个问题，即这一个结点分裂gain是负的，下一层的分裂gain就是正的了。这种情况pre_stopping不能避免。

post_prunning:让树分裂达到设定的max_depth，然后递归的合并那些是负gain的结点。

 

从cart树到xgboost

cart树(classification and regression tree)是一种分类回归决策树，可以同时处理分类和回归两类问题，它处理分类问题时使用基尼指数作为目标函数，处理回归问题时用均方误差作为目标函数。

模型的误差Error = Bias + Variance + Noise，一般而言我们只考虑前两项。简单模型具有大的Bias和小的Variance，模型比较稳定；复杂模型具有小的Bias和大的Variance，模型不稳定，在不同的数据集上预测结果差异较大，也就是通常所说的过拟合。

Bias衡量的是学习模型f_hat和最优模型f之间的差别，Variance衡量的是学习的模型f_hat自身的泛化能力。

Boosting

通过boosting可以有效的降低Bias，从而获得更好的性能。

gradient boosting

属于boosting算法的一种，每次模型都建立在前一个模型损失函数梯度的方向，沿梯度下降最快。

gbdt

Gbdt(gradient boosting decision tree)建立在gradient boosting框架下，使用的模型是树模型，通常是cart树。使用logit作为损失函数处理分类问题，使用均方误差作为损失函数处理回归问题。

xgboost

Xgboost是对gbdt的一种高效、分布式的实现。主要解决了两个问题，

1.叶子节点的函数值；

使用泰勒展开将损失函数转换后，通过最小二乘法得到最优函数；

2.中间节点的特征选取和分裂数值。 同时为了分布式实现，对均损失函数进行二阶泰勒展开，利用了函数的二阶导数信息。

使用贪心算法枚举所有特征的所有可能值，计算出信息增益最大的特征组合；

将每一个维度的特征进行排序，计算数据分布的百分比，选出最优的分裂值；

此外xgboost的实现还有很多的优化，比如

1)同时支持CART和支持线性分类器作为基本分离器，。

2)支持自定义代价函数，要求函数二阶可导。

3)xgboost在代价函数里加入了正则项，用于控制模型的复杂度。正则项降低了模型的variance，防止过拟合。

4)Shrinkage（缩减），在进行完一次迭代后，会将叶子节点的权重乘上该系数，主要是为了削弱每棵树的影响，让后面有更大的学习空间。

5) column subsampling，从实践上看效果要优于使用全部的特征。

对缺失值的处理。对于特征的值有缺失的样本，xgboost可以自动学习出它的分裂方向。

6)对缺失值、category值，稀疏数值的处理，从其余特征中学到default分类方向。

XGBOOST以正则化提升技术而闻名，正则化可以有效减少过拟合；

XGBOOST可以支持并行算法；

XGBOOST允许自定义目标函数和损失函数；

XGBOOST可以内置缺失值的处理方法，在不同结点选择不同的缺失值处理方法；

GBM分裂时遇到负值会停止分裂，XGBOOST会继续分裂直到达到指定的最大深度（MAX_DEPTH），再回过头来剪枝，剪枝的方法是去除后面不再有正值的枝，这样可以保留出现负值后又分裂出正值这一类的枝条；

GBM使用网格搜索，XGBOOST允许在每次迭代中使用交叉验证，可以有效获得最优迭代次数；

GBM和XGBOOST允许在上一轮结果上继续训练。

 

XGBoost的参数

XGBoost的作者把所有的参数分成了三类：

1、通用参数：宏观函数控制。

2、Booster参数：控制每一步的booster(tree/regression)。

3、学习目标参数：控制训练目标的表现。

在这里我会类比GBM来讲解，所以作为一种基础知识。

通用参数

这些参数用来控制XGBoost的宏观功能。

1、booster[默认gbtree]

选择每次迭代的模型，有两种选择：

gbtree：基于树的模型

gbliner：线性模型

2、silent[默认0]

当这个参数值为1时，静默模式开启，不会输出任何信息。 一般这个参数就保持默认的0，因为这样能帮我们更好地理解模型。

3、nthread[默认值为最大可能的线程数]

这个参数用来进行多线程控制，应当输入系统的核数。 如果你希望使用CPU全部的核，那就不要输入这个参数，算法会自动检测它。

还有两个参数，XGBoost会自动设置，目前你不用管它。接下来咱们一起看booster参数。

booster参数

尽管有两种booster可供选择，我这里只介绍tree booster，因为它的表现远远胜过linear booster，所以linear booster很少用到。

1、eta[默认0.3]

和GBM中的 learning rate 参数类似。 通过减少每一步的权重，可以提高模型的鲁棒性。 典型值为0.01-0.2。

2、min_child_weight[默认1]

决定最小叶子节点样本权重和。 和GBM的 min_child_leaf 参数类似，但不完全一样。XGBoost的这个参数是最小样本权重的和，而GBM参数是最小样本总数。 这个参数用于避免过拟合。当它的值较大时，可以避免模型学习到局部的特殊样本。 但是如果这个值过高，会导致欠拟合。这个参数需要使用CV来调整。

3、max_depth[默认6]

和GBM中的参数相同，这个值为树的最大深度。 这个值也是用来避免过拟合的。max_depth越大，模型会学到更具体更局部的样本。 需要使用CV函数来进行调优。 典型值：3-10

4、max_leaf_nodes

树上最大的节点或叶子的数量。 可以替代max_depth的作用。因为如果生成的是二叉树，一个深度为n的树最多生成n2个叶子。 如果定义了这个参数，GBM会忽略max_depth参数。

5、gamma[默认0]

在节点分裂时，只有分裂后损失函数的值下降了，才会分裂这个节点。Gamma指定了节点分裂所需的最小损失函数下降值。 这个参数的值越大，算法越保守。这个参数的值和损失函数息息相关，所以是需要调整的。

6、max_delta_step[默认0]

这参数限制每棵树权重改变的最大步长。如果这个参数的值为0，那就意味着没有约束。如果它被赋予了某个正值，那么它会让这个算法更加保守。 通常，这个参数不需要设置。但是当各类别的样本十分不平衡时，它对逻辑回归是很有帮助的。 这个参数一般用不到，但是你可以挖掘出来它更多的用处。

7、subsample[默认1]

和GBM中的subsample参数一模一样。这个参数控制对于每棵树，随机采样的比例。 减小这个参数的值，算法会更加保守，避免过拟合。但是，如果这个值设置得过小，它可能会导致欠拟合。 典型值：0.5-1

8、colsample_bytree[默认1]

和GBM里面的max_features参数类似。用来控制每棵随机采样的列数的占比(每一列是一个特征)。 典型值：0.5-1

9、colsample_bylevel[默认1]

用来控制树的每一级的每一次分裂，对列数的采样的占比。 我个人一般不太用这个参数，因为subsample参数和colsample_bytree参数可以起到相同的作用。但是如果感兴趣，可以挖掘这个参数更多的用处。

10、lambda[默认1]

权重的L2正则化项。(和Ridge regression类似)。 这个参数是用来控制XGBoost的正则化部分的。虽然大部分数据科学家很少用到这个参数，但是这个参数在减少过拟合上还是可以挖掘出更多用处的。

11、alpha[默认1]

权重的L1正则化项。(和Lasso regression类似)。 可以应用在很高维度的情况下，使得算法的速度更快。

12、scale_pos_weight[默认1]

在各类别样本十分不平衡时，把这个参数设定为一个正值，可以使算法更快收敛。

学习目标参数

这个参数用来控制理想的优化目标和每一步结果的度量方法。

1、objective[默认reg:linear]

这个参数定义需要被最小化的损失函数。最常用的值有：

binary:logistic 二分类的逻辑回归，返回预测的概率(不是类别)。 multi:softmax 使用softmax的多分类器，返回预测的类别(不是概率)。

在这种情况下，你还需要多设一个参数：num_class(类别数目)。 multi:softprob 和multi:softmax参数一样，但是返回的是每个数据属于各个类别的概率。

2、eval_metric[默认值取决于objective参数的取值]

对于有效数据的度量方法。 对于回归问题，默认值是rmse，对于分类问题，默认值是error。 典型值有：

rmse 均方根误差(∑Ni=1?2N??????√) mae 平均绝对误差(∑Ni=1|?|N) logloss 负对数似然函数值 error 二分类错误率(阈值为0.5) merror 多分类错误率 mlogloss 多分类logloss损失函数 auc 曲线下面积

3、seed(默认0)

随机数的种子 设置它可以复现随机数据的结果，也可以用于调整参数

如果你之前用的是Scikit-learn,你可能不太熟悉这些参数。但是有个好消息，python的XGBoost模块有一个sklearn包，XGBClassifier。这个包中的参数是按sklearn风格命名的。会改变的函数名是：

1、eta ->learning_rate

2、lambda->reg_lambda

3、alpha->reg_alpha

你肯定在疑惑为啥咱们没有介绍和GBM中的’n_estimators’类似的参数。XGBClassifier中确实有一个类似的参数，但是，是在标准XGBoost实现中调用拟合函数时，把它作为’num_boosting_rounds’参数传入。

 

 

 

参数调优的一般方法。

我们会使用和GBM中相似的方法。需要进行如下步骤：

1. 选择较高的学习速率(learning rate)。一般情况下，学习速率的值为0.1。但是，对于不同的问题，理想的学习速率有时候会在0.05到0.3之间波动。选择对应于此学习速率的理想决策树数量。XGBoost有一个很有用的函数“cv”，这个函数可以在每一次迭代中使用交叉验证，并返回理想的决策树数量。

2. 对于给定的学习速率和决策树数量，进行决策树特定参数调优(max_depth, min_child_weight, gamma, subsample, colsample_bytree)。在确定一棵树的过程中，我们可以选择不同的参数。

3. xgboost的正则化参数的调优。(lambda, alpha)。这些参数可以降低模型的复杂度，从而提高模型的表现。

4. 降低学习速率(learning rate)，确定理想参数，重复上述的调优过程。

 

参数调优顺序

1、max_depth = 5 :这个参数的取值最好在3-10之间。

2、min_child_weight = 1:在这里选了一个比较小的值，因为这是一个极不平衡的分类问题。因此，某些叶子节点下的值会比较小。

3、gamma = 0: 起始值也可以选其它比较小的值，在0.1到0.2之间就可以。这个参数后继也是要调整的。

4、subsample,colsample_bytree = 0.8: 这个是最常见的初始值了。典型值的范围在0.5-0.9之间。

5、scale_pos_weight = 1: 这个值是因为类别十分不平衡。

注意哦，上面这些参数的值只是一个初始的估计值，后继需要调优。这里把学习速率learning rate就设成默认的0.1，然后用xgboost中的cv函数来确定最佳的决策树数量。GridSearchCV()

依次按上述步骤对参数进行调优，调一个参数时保持其他参数值不变。

上述参数调整好后，应用正则化来降低过拟合，即调整’reg_alpha’参数，和’reg_lambda’参数。

最后，我们使用较低的学习速率，以及使用更多的决策树。重复上述过程。

总结

1、仅仅靠参数的调整和模型的小幅优化，想要让模型的表现有个大幅度提升是不可能的。GBM的最高得分是0.8487，XGBoost的最高得分是0.8494。确实是有一定的提升，但是没有达到质的飞跃。

2、要想让模型的表现有一个质的飞跃，需要依靠其他的手段，诸如，特征工程(feature egineering) ，模型组合(ensemble of model),以及堆叠(stacking)等。