GBDT如何做正则化?

1 CART树的剪枝
2 设置步长η, 。参数：Shrinkage–>(0, 1]
即在每一轮迭代获取最终学习器的时候按照一定的步长进行更新。其中0<η≤1是步长，对于同样的训练集学习效果，较小的η意味着需要更多的迭代次数；通常用步长和迭代最大次数一起来决定算法的拟合效果。参数：Shrinkage
注：步长如何设置才能防止过拟合？
因为较小的η意味着需要更多的迭代次数，防止过拟合就要稍微加大步长，用步长和迭代最大次数一起来决定算法的拟合效果。

3 子采样。
参数subsample–>(0, 1]。这里是不放回随机抽样。选择小于1的比例可以减少方差，即防止过拟合，但是会增加样本拟合的偏差，因此取值不能太低，一般在[0.5, 0.8]之间。 GBDT子采样的过程：比如有100个样本，subsample=0.8，第一棵树训练时随机从100个样本中抽取80%，有80个样本训练模型；第二棵树再在100个样本再随机采样80%数据，也就是80个样本，训练模型；以此类推。