XGBoost实战

1.XGBoost参数
1.1常规参数General Parameters
      booster[default=gbtree]:选择基分类器，可以是：gbtree,gblinear或者dart。gbtree和draf基于树模型，而gblinear基于线性模型。
      slient[default=0]：是否有运行信息输出，设置为1则没有运行信息输出。
      nthread[default to maximum number of threads available if not set]：线程数，默认使用能使用的最大线程数。
      num_pbuffer [set automatically by xgboost, no need to be set by user]：预测缓冲区的大小，通常设置为训练实例的数量。缓冲区用于保存最后一个提升步骤的预测结果。
      num_feature [set automatically by xgboost, no need to be set by user]：boosting过程中用到的特征维数，设置为特征个数。
1.2模型参数Booster Parameters
      eta[default=0.3]:收缩参数，也即学习率。用于更新叶节点权重时，乘该系数，避免步长过大。参数值越大，越可能无法收敛。把eta设置的小一些，小的学习率可以使后面的学习更加仔细。通常最后设置eta为0.01~0.2。
      min_child_weight[default=1]:每个叶子里面的h的和至少是多少，这个参数非常影响结果，控制叶子节点中二阶导的和的最小值，该参数越小，越容易过拟合。
      max_depth[default=6]:每棵树的最大深度，该参数设置越大，越容易过拟合。建议通过交叉验证（xgb.cv ) 进行调参。通常取值：3-10。
      max_leaf_nodes:最大叶节点数，和max_depth类似。
      gamma[default=0]:后剪枝时，用于控制是否后剪枝。模型在默认情况下，对于一个节点的划分只有在其loss function得到结果大于0的情况下才进行，而gamma 给定了所需的最低loss function的值。gamma值使得算法更conservation，且其值依赖于loss function，在模型中应该进行调参。<