xgboost调参

XGBoost调参

• eta ：learning rate 学习率 一般0.1 有时候会在0.05到0.3之间波动

• max_depth 树的最大深度

• subsample ：行采样

• colsample_bytree ：列采样

• objective 设置损失函数

• objective

  • reg:linear" --线性回归

  • "reg:logistic" --逻辑回归

  • "binary:logistic" --二分类的逻辑回归，返回预测的概率(不是类别)

• eval_metric

  • "rmse": 均方误差

  • "mae": 绝对平均误差

  • "auc": ROC曲线下方的面积 for ranking evaluation.

eta ： 默认是0.3，别名是 leanring_rate，更新过程中用到的收缩步长，在每次提升计算之后，算法会直接获得新特征的权重。 eta通过缩减特征的权重使提升计算过程更加保守；[0,1]
gamma：默认是0，别名是 min_split_loss，在节点分裂时，只有在分裂后损失函数的值下降了（达到gamma指定的阈值），才会分裂这个节点。gamma值越大，算法越保守（越不容易过拟合）；[0，∞]
max_depth：默认是6，树的最大深度，值越大，越容易过拟合；[0，∞]
min_child_weight：默认是1，决定最小叶子节点样本权重和，加权和低于这个值时，就不再分裂产生新的叶子节点。当它的值较大时，可以避免模型学习到局部的特殊样本。
但如果这个值过高，会导致欠拟合。[0，∞]
max_delta_step：默认是0，这参数限制每颗树权重改变的最大步长。如果是 0 意味着没有约束。如果是正值那么这个算法会更保守，通常不需要设置。[0，∞]
subsample：默认是1，这个参数控制对于每棵树，随机采样的比例。减小这个参数的值算法会更加保守，避免过拟合。但是这个值设置的过小，它可能会导致欠拟合。 (0,1]
colsample_bytree：默认是1，用来控制每颗树随机采样的列数的占比； (0,1]
colsample_bylevel：默认是1，用来控制的每一级的每一次分裂，对列数的采样的占比； (0,1]
lambda：默认是1，别名是reg_lambda，L2 正则化项的权重系数，越大模型越保守；
alpha：默认是0，别名是reg_alpha，L1 正则化项的权重系数，越大模型越保守；
seed：随机数种子，相同的种子可以复现随机结果，用于调参！
n_estimators：弱学习器的数量

 

参数预测 

clf=lgb.LGBMRegressor(**lgb_params1)
        clf.fit(X_train,y_train,eval_set=[(X_train,y_train),(X_val,y_val)],eval_metric='mae',early_stopping_rounds=100,verbose=200)
        #将数据集转换一下格式，eval_set的作用是指明每加入一个新树，用什么数据来训练它
        # eval_metric评价指标,指定这个衡量的标准，我们选用的是MAE(平均绝对误差)
        # early_stopping_rounds :  指定当添加树loss变化不大这个状态持续的轮数，达到这个数就退出训练过程
        #verbose 指多少轮迭代打印一次日志.日志显示数，1（默认）;打印输出 大于1打印每棵树的进度和性能.
#verbose=True：表示设置运行的时候显示详细信息;
#verbose=FALSE，意思就是设置运行的时候不显示详细信息。

verbose_eval(可以输入布尔型或数值型)：如果为True, 则对evals中元素的评估结果会输出在结果中；如果输入数字，假设为5，则每隔5个迭代输出一次。