XGBOOST调参

Step 1： 选择一组初始参数；
Step 2： 改变 max_depth 和 min_child_weight；
Step 3： 调节 gamma 降低模型过拟合风险；
Step 4： 调节 subsample 和 colsample_bytree 改变数据采样策略；
Step 5： 调节学习率 eta；

我们在通过step1，可以观察弱分类数目的大致范围，看看模型是过拟合还是欠拟合。
通过step2调整树的深度和节点权重，这些参数对XGBoost性能影响最大，我们简要概述他们：max_depth：树的最大深度。增加这个值会使模型更加复杂，也容易出现过拟合，深度3-10是合理的；min_child_weight：正则化参数。如果树分区中的实例权重小于定义的总和，则停止树构建过程。

可以通过网格搜索发现最佳结果。