XGBoost调参基本流程

source:http://rongzijing.win/index.php/archives/133/
1.模型评估(重点看一下）
主要评估指标包括：
开发的模型评估模块：支持输出ROC曲线，AP曲线以及特征重要度柱状图等.
生成的特征重要度柱状图，可以看到不同特征的权重，排名越高说明该特征对决策影响越大。此外，评估特征好坏还有一个小trick，即观察该柱状图的边界是否平滑，这个弧线越平滑，说明特征选取的越准确越丰满。如下图所示，根据排名，可以相应找到对应的特征，评估后结果比较合理。但边界还是不够平滑，说明特征还可以继续丰满。
2.模型调参
2.1常用的可调参数

eta[default=0.3]——和GBM中的 learning rate 参数类似。通过减少每一步的权重，可以提高模型的鲁棒性。典型值为0.01-0.2

min_child_weight[default=1]——决定最小叶子节点样本权重和。和GBM的 min_child_leaf参数类似，但不完全一样。XGBoost的这个参数是最小样本权重的和ÿ