目录
前言
最近使用XGBoos模型来预测或者分类物质,其中参数优化是非常重要的一步,本文就简单记录下入门心得
首先,XGBoost是属于决策树模型,原理是不断建树,最后将所有树结果加到一起。一般的调参顺序:n_estimator_nums;再调整剪枝参数(gamma,max_depth),最后列采样col、样本采样sub,eta(从大到小调整) 。主要思路:先使用默认参数调整,观察曲线,判断欠拟合 or 过拟合?调整对应参数。
1. eta:
学习率参数,就是原理中说的缩减,保证每一颗树对于结果的影响不太大,从而保证模型的效果。更新叶子节点权重时,乘以该系数,避免步长过大。参数值越大,越可能无法收敛。把学习率 eta 设置的小一些,小学习率可以使得后面的学习更加仔细。 典型值为0.01-0.2。该值一般影响训练速度,不会影响学习效果,一般有n_estimator一起网格调整
Tong He(XGBoost R语言版本开发者): 三个最重要的参数为:树的数目、树的深度和学习率。建议参数调整策略为:采用默认参数配置试试;如果系统过拟合了,降低学习率;如果系统欠拟合,加大学习率
2. min_child_weight:
默认1,这参数限制每棵树权重改变的最大步长。如果这个参数的值为0,那就意味着没有约束。如果它被赋予了某个正值,那么它会让这个算法更加保守(下链接中提到,树停止生长的条件,其中min_child_weight,是最小样本权重和,当引入一次分裂后,重新计算新生成的左、右两个叶子结点的样本权重和,如果任一个叶子结点的样本权重低于某一个阈值,也会放弃此次分裂。这涉及到一个超参数:最小样本权重和,是指如果一个叶子节点包含的样本数量太少也会放弃分裂,防止树分的太细。)
3. gamma(默认0) 和 depth(默认6)(重要的后剪枝参数):
注意:
gamma不是正则项公式中的L1正则化系数(L1正则化系数对应的参数为alpha),而是最小的分类损失降低(loss reduction),只有当节点分裂带来的损失降低大于gamma时才进行分裂,可以有效避免过拟合;默认值为0,
4. subsample [default=1]
样本采样用的,减小这个参数的值,算法会更加保守,避免过拟合,但是如果这个值设置得过小,它可能会导致欠拟合。典型值:0.5-1,cv调优
5. colsample_bytree [default=1]
特征列采样,就是选择生成树的特征,是为了防止过拟合的,一般设置为: 0.5-1 ,也要用cv拟合。
总结
XGBoost资料集合:
数据分析利器:XGBoost算法最佳解析|二阶|权重值|特征值|拟合_网易订阅
珍藏版 | 20道XGBoost面试题 - 腾讯云开发者社区-腾讯云
上述调整之后,一般是可以得到较好的结果,其余 参数一般不需要调整,默认就好,本人之前调整过lamda参数,导致后边结果异常,所以调参一定要明白模型的原理
2023.06.28参数更新: