15.xgboost步长如何设定

xgboost的步长即是parameter里的eta(learning rate),官方对它的定义如下：

eta [default=0.3, alias: learning_rate]

• Step size shrinkage used in update to prevents overfitting. After each boosting step, we can directly get the weights of new features, and eta shrinks the feature weights to make the boosting process more conservative.
• range: [0,1]

1.有同学会奇怪为什么有new feature一说，feature不是训练集里面早就定好的吗？我的理解是这个feature是指每一轮迭代的迭代器，记得我们最后的output = 参数1*迭代器1+参数2*迭代器2+········,训练集里所谓的feature在此时不直接参与输出计算，而上面段落描述的feature指的就是迭代器，所以有new feature一说（xgboos训练方式复习一下，下一个迭代器是在上一个迭代器基础上得出的，依次类推）。

2.那么xgboost里面的eta是什么？eta是用来约束迭代器前的参数，eta是直接在参数前加的一个权重，使得参数变小，那么一个特征的影响也不至于过高，防止过拟合

举一个例子

比如第一棵树预测值为3.9，label为4.0，若eta为0.1，那么第二棵树训练的残差为4.0-3.9*0.1=3.61,残差有点大，还需要接着学习

若eta为0.99，那么第二棵树训练的残差为4.0-3.9*0.9=0.139,残差比较小，虽然还需要接着学习但是可以遇见的是很快就会收敛

可见eta越小，迭代器越多，反之越少，而少的迭代器容易过拟合，迭代器多一些泛化能力更强

3.eta越大训练越快，eta越小训练越慢但是容易达到最优解。由2可得

因此eta越小越容易达到最优解，但是eta小也会带来迭代器过多的问题（多了计算量大，对资源要求高），因此设置eta要和迭代器个数相权衡，一般设置个稍微大点的值（0.1～0.2），再根据迭代器情况逐步降低eta，降低到指标和迭代器个数都能接受的时候。