基于梯度提升（Boosting ）的回归树简介

Boosting 是一种松散的策略，它将多个简单模型组合成一个复合模型。这个想法的理论来自于随着我们引入更多的简单模型，整个模型会变得越来越强大。在 boosting 中，简单模型称为弱模型或弱学习器。在回归的背景下，第一个简单模型只是一个常数，而随后的简单模型是“回归树”。

什么是回归树呢？它是用于回归的决策树！最简单通俗的解释就是决策树是一些if语句组成的树型结构，这些if的判断条件并不是我们人工手动指定的而是通过使用数据训练自动生成的。

梯度提升通过将一个个回归树进行整合可以使模型预测变得更好

通过下图的执行流程整个过程构成了解决回归问题的基本架构

最后总结：

1、通过简单的最小化得到“最弱的学习者”。通常情况下，最弱的学习者是我们训练最终学习者的数据集中所有值的平均值

2、然后根据需要向最弱的学习器添加尽可能多的回归树，并在添加这些回归树学习器时改进预测（计算类似于梯度下降中的学习率的乘数，并且该乘数与回归树相乘）

3、 一旦获得了足够数量的树，就会计算整合成最终的“强学习器”。

https://www.overfit.cn/post/b2607080c4854157a1c711835cbb11ce

作者：Saumik Dana