xgboost调参指南与实战

1.XGboost的参数

1）通用参数：宏观函数控制；

2）Booster参数：控制每一步的booster(tree/regression)；

3）学习目标参数：控制训练目标的表现。

1.1 通用参数

booster: default gbtree 选择每次迭代的模型，有两种选择：gbtree / gbliner

nthread：用来进行多线程控制，应当输入系统的核数

1.2 Booster参数

我们这里只介绍tree booster,因为它的表现远远胜过linear booster，所以linear booster很少用到。

eta：default 0.3, 和GBM中的learning rate参数类似，通过减少每一步的权重，可以提高模型的鲁棒性；

n_estimators: 迭代次数，或者树的个数；通常选用较大的树，1000；

early_stopping_rounds:当模型训练到一个理想值时就自动停止训练，即使没有到n_estimaors指定的轮数；

learning_rate:将预测结果乘以一个因子再加到下一轮，而不是简单相加；

min_child_weight: default 1，决定最小叶子节点样本权重和；每个叶子节点的样本权重和计算方式如下：