【机器学习】如果你发现你的GBDT模型过拟合了？该从那个参数入手？—降低学习率

总结的Boosting的参数如下：

Gradient Boosted(-ing) Decision Tree：

• 构造一系列决策树，每棵树尝试去纠正之前的错误
• 每棵树学习的是之前所有树的结论和残差，拟合得到一个当前的树。整个迭代过程生成的树的累加就是GBDT
• 学习率决定新的树去纠正错误的程度：

1. 高学习率：生成复杂的树
2. 低学习率：生成简单的树

学习率降低，会缩小每棵树的贡献，让每棵树都不要太强。

因此，当我们的GBDT模型发生过拟合的时候，可以尝试降低学习率！