XGBoostClassifier 参数

XGBoost 参数

learning_rate:学习率 [0-1] - 0.3
n_estimators:模型中建立树的数量 [0-100] - 100
max_depth:树的最大深度，最大容易过拟合 [3-15] - 6
min_child_weight：划分到某个叶子节点的所有样本权重之和的最小值 [0-10] - 1
gamma:划分到叶子节点所需要达到的最小损失减少值 [0-10] -0
subsample:训练时使用的子样本占全部训练集的比例 [0.5-1] 1
colsamle_bytree:建树时使用的特征占总特征的比例 [0.5,1]-1
reg_alpha:L1正则化权重，越大可以防止过拟合 [0-10]-0
reg_lambda:L2正则化权重，越大可以防止过拟合 [0-10]-1

1.模型参数
n_estimatores
含义：总共迭代的次数，即决策树的个数
调参：
early_stopping_rounds
含义：在验证集上，当连续n次迭代，分数没有提高后，提前终止训练。
调参：防止overfitting。
max_depth
含义：树的深度，默认值为6，典型值3-10。
调参：值越大，越容易过拟合；值越小，越容易欠拟合。
min_child_weight
含义：默认值为1,。
调参：值越大，越容易欠拟合；值越小，越容易过拟合（值较大时，避免模型学习到局部的特殊样本）。
subsample
含义：训练每棵树时，使用的数据占全部训练集的比例。默认值为1，典型值为0.5-1。
调参：防止overfitting。
colsample_bytree
含义：训练每棵树时，使用的特征占全部特征的比例。默认值为1，典型值为0.5-1。
调参：防止overfitting。

2.学习任务参数
learning_rate
含义：学习率，控制每次迭代更新权重时的步长，默认0.3。
调参：值越小，训练越慢。
典型值为0.01-0.2。
objective 目标函数
回归任务
reg:linear (默认)
reg:logistic
二分类
binary:logistic 概率
binary：logitraw 类别
多分类
multi：softmax num_class=n 返回类别
multi：softprob num_class=n 返回概率
rank:pairwise
eval_metric
回归任务(默认rmse)
rmse–均方根误差
mae–平均绝对误差
分类任务(默认error)
auc–roc曲线下面积
error–错误率（二分类）
merror–错误率（多分类）
logloss–负对数似然函数（二分类）
mlogloss–负对数似然函数（多分类）
seed(默认0)
随机数的种子 设置它可以复现随机数据的结果，也可以用于调整参数
这个包中的参数是按sklearn风格命名的。会改变的函数名是：

• eta ->learning_rate
• lambda->reg_lambda
• alpha->reg_alpha

3.常规参数
gamma
惩罚项系数，指定节点分裂所需的最小损失函数下降值。
调参：
alpha
L1正则化系数，默认为1
lambda
L2正则化系数，默认为1

booster
gbtree 树模型做为基分类器（默认）
gbliner 线性模型做为基分类器
silent
silent=0时，不输出中间过程（默认）
silent=1时，输出中间过程
nthread
nthread=-1时，使用全部CPU进行并行运算（默认）
nthread=1时，使用1个CPU进行运算。
scale_pos_weight
正样本的权重，在二分类任务中，当正负样本比例失衡时，设置正样本的权重，模型效果更好。例如，当正负样本比例为1:10时，scale_pos_weight=10。