XGBoost参数设置中文版及XGBoost的Python模块解释

前言

本文来源于XGBoost官方文档

XGBoost参数官方文档：XGBoost Parameters (official guide)。

XGBoost的Python模块介绍官方文档： Python Package Introduction

在运行XGboost之前, 我们必须设置三种类型的参数: 通用参数（general parameters），Booster 参数（booster parameters）和学习目标参数（task parameters） 
 通用参数决定了哪种Booster被我们选择用于Boosting, 通常是线性和树型模型，也就是用于宏观函数控制 
Booster参数取决于选择的Booster类型，用于控制每一步的booster 

学习任务参数决定学习策略。例如，回归任务可以使用不同的参数和排序任务 

命令行参数取决于xgboost的CLI版本

XGBoost参数设置

General Parameters

1. booster [缺省值=gbtree] 
   决定使用哪个booster，可以是gbtree，gblinear或者dart。 gbtree和dart使用基于树的模型，而gblinear 使用线性函数.
2. silent [缺省值=0] 
   设置为0打印运行信息；设置为1静默模式，不打印

3. nthread [缺省值=设置为最大可能的线程数] 
   并行运行xgboost的线程数，输入的参数应该<=系统的CPU核心数，若是没有设置算法会检测将其设置为CPU的全部核心数 
   下面的两个参数不需要设置，使用默认的就好了

4. num_pbuffer [xgboost自动设置，不需要用户设置] 
   预测结果缓存大小，通常设置为训练实例的个数。该缓存用于保存最后boosting操作的预测结果。

5. num_feature [xgboost自动设置，不需要用户设置] 
   在boosting中使用特征的维度，设置为特征的最大维度

Parameters for Tree Booster

1. eta [缺省值=0.3，别名：learning_rate] 
   更新中减少的步长来防止过拟合。在每次boosting之后，可以直接获得新的特征权值，这样可以使得boosting具有更高的健壮性。 
   范围： [0,1]
2. gamma [缺省值=0，别名: min_split_loss]（分裂最小loss） 
   在节点分裂时，只有分裂后损失函数的值下降了，才会分裂这个节点。Gamma指定了节点分裂所需的最小损失函数下降值。 这个参数的值越大，算法越保守。这个参数的值和损失函数息息相关，所以是需要调整的。 （设置此参数应该属于预剪枝操作，应博主还未进行实际操作，想着应该是分裂后损失函数值下降小于设置值是则不进行分裂，早停，防止过拟合，希望交流指正或等博主实战后再来确认修改）
   范围: [0,∞]
3. max_depth [缺省值=6] 
   这个值为树的最大深度。 这个值也是用来避免过拟合的（预剪枝，到达最大数度，早停）。max_depth越大，模型会学到更具体更局部的样本。设置为0代表没有限制 
   范围: [0,∞]
4. min_child_weight [缺省值=1] 
   决定最小叶子节点样本权重和。XGBoost的这个参数是最小样本权重的和，而GBM参数是最小样本总数。 这个参数用于避免过拟合。当它的值较大时，可以避免模型学习到局部的特殊样本。 但是如果这个值过高，会导致欠拟合。这个参数需要使用CV来调整。. 
   范围: [0,∞]
5. max_delta_step [default = 0]
   我们允许每棵树的权重估计值为最大增量步长。 如果该值设置为0，则表示没有约束。 如果它设置为正值，则可以帮助使更新步骤更加保守。 通常这个参数是不需要的，但是当类非常不平衡时，它可能有助于逻辑回归。 将它设置为1-10的值可能有助于控制更新
   范围：[0，∞]
   
6. subsample [缺省值=1] 
   这个参数控制对于每棵树，随机采样的比例。 减小这个参数的值，算法会更加保守，避免过拟合。但是，如果这个值设置得过小，它可能会导致欠拟合。 典型值：0.5-1，0.5代表平均采样，防止过拟合. 
   范围: (0,1]