xgboost参数含义及调参scala

一.算法原理

关于xgboost算法原理的资料已经非常完善，在此不赘述。

用通俗的话描述算法过程，就是不断添加树去拟合上一棵树预测的残差。可以把每棵树看成一个分段函数，其定义域是每次生成叶节点时划分的域的交集。

预测值$\widehat{y_i}$为该样本落在每个对应叶子结点分数之和。

二.参数含义

Booster参数：（欠拟合——大，小）最重要的树的深度，树的数目，学习率

1. n_estimator: 也作num_boosting_rounds这是生成的最大树的数目，也是最大的迭代次数；
2. eta[默认是0.3] 和GBM中的learning rate参数类似。通过减少每一步的权重，可以提高模型的鲁棒性。典型值0.01-0.2。学习率；
3. min_child_weight[默认是1] 决定最小叶子节点样本权重和。当它的值较大时，可以避免模型学习到局部的特殊样本。但如果这个值过高，会导致欠拟合。这个参数需要用cv来调整；
4. max_depth [默认是6] 树的最大深度，这个值也是用来避免过拟合的3-10；
5. max_leaf_nodes 树上最大的节点或叶子的数量，可以代替max_depth的作用，因为如果生成的是二叉树，一个深度为n的树最多生成2n个叶子,如果定义了这个参数max_depth会被忽略（常常不设置这个参数，深度更直观）；
6. gamma[默认是0] 在节点分裂时，只有在分裂后损失函数的值下降了才会分裂这个节点。Gamma指定了节点分裂所需的最小损失函数下降值。这个参数值越大，算法越保守；
7. max_delta_step[默认是0] 这参数限制每颗树权重改变的最大步长。如果是0意味着没有约束。如果是正值那么这个算法会更保守，通常不需要设置；
8. subsample[默认是1] 这个参数控制对于每棵树，随机采样的比例。减小这个参数的值算法会更加保守，避免过拟合。但是这个值设置的过小，它可能会导致欠拟合。典型值：0.5-1；
9. colsample_bytree[默认是1] 用来控制每颗树随机采样的列数的占比每一列是一个特征0.5-1。速度更快，效果更好，0.3-0.8；
10. colsample_bylevel[默认是1] 用来控制的每一级的每一次分裂，对列数的采样的占比。速度更快，效果更好，0.3-0.8；
11. lambda[默认是1] 权重的L2正则化项；
12. alpha[默认是1] 权重的L1正则化项；
13. scale_pos_weight[默认是1] 各类样本十分不平衡时，把这个参数设置为一个正数，可以使算法更快收敛。

通用参数：

1. booster[默认是gbtree]
   选择每次迭代的模型，有两种选择：gbtree基于树的模型、gbliner线性模型；
2. silent[默认是0]
3. 当这个参数值为1的时候，静默模式开启，不会输出任何信息。一般这个参数保持默认的0，这样可以帮我们更好的理解模型。
4. nthread[默认值为最大可能的线程数]
   这个参数用来进行多线程控制，应当输入系统的核数，如果你希望使用cpu全部的核，就不要输入这个参数，算法会自动检测。

学习目标参数：

1. objective[默认是reg：linear]
   这个参数定义需要被最小化的损失函数。最常用的值有：binary：logistic二分类的逻辑回归，返回预测的概率非类别。multi:softmax使用softmax的多分类器，返回预测的类别。在这种情况下，你还要多设置一个参数：num_class类别数目。
2. eval_metric[默认值取决于objective参数的取之]
   对于有效数据的度量方法。对于回归问题，默认值是rmse，对于分类问题，默认是error。典型值有：rmse均方根误差；mae平均绝对误差；logloss负对数似然函数值；error二分类错误率；merror多分类错误率；mlogloss多分类损失函数；auc曲线下面积。
3. seed[默认是0]
   随机数的种子，设置它可以复现随机数据的结果，也可以用于调整参数。

三.调参步骤

1. 先选定一个学习率，比如0.1，然后确定最优树的数量（cv）
2. 确定最优树的深度和树的最大节点数
3. gamma调优
4. 调整采样比例subsample和colsample_bytre
5. 正则化参数调优
6. 降低学习速率

四.关于Python包的一个补充说明

xgboost为了贴合sklearn的使用，比如grid search这些实用工具，又开发了XGBoostClassifier()和XGBoostRegression()两个函数。可以更加简单快捷的进行分类和回归处理。注意xgboost的sklearn包没有 feature_importance 这个量度，但是get_fscore()函数有相同的功能。所以有时候看到的是feature_importance有时候是get_fscore()。

五.xgboost算法scala

二分类

val paramMap = Map(
      "eta" -> 0.1 ,
      "max_depth" -> 6,
      "objective" -> "binary:logistic" ,
      "colsample_bytree" -> 0.8,
      "colsample_bylevel" -> 0.8,
      "subsample" -> 0.8,
      "num_round" -> 100,
      "alpha"-> 1,
      "lambda"-> 1,
      "gamma"-> 0.2,
      "seed"->123,
      "eval_metric"-> error
    )
val xgbClassifier = new XGBoostClassifier(paramMap).
        setFeaturesCol("features").
    	   setLabelCol( "label").
    	   setMissing(0)
val xgbClassificationModel = xgbClassifier.fit(trainDF)
val predict = xgbClassificationModel.transform(testDF)
val featureScoreMap = xgbClassificationModel.nativeBooster.getScore("", "gain")

关于几个问题的理解：

1. 由于树的数量、树的深度、gamma（增益阈值）等参数的限定，树可能会提前停止生长，故 xgbClassificationModel.nativeBooster.getScore("", "weight")的和可能小于${\sum }_{i=1}^{maxdepth}i\times$ 树的数量；
2. 由于有些特征自始至终都没有被分裂节点选中，也就是说gain=0/weight=0,所以不会在featureScoreMap中出现