提升树、梯度提升、梯度提升树(GBDT)

提升树

提升树是以分类树或回归树为基本分类器的提升方法。

模型

提升树也同提升算法一样采用加法模型（即基函数的线性组合）与前向分步算法，不过基学习器换为决策树。
所以提升树模型可以表示为决策树的加法模型：

T（）表示决策树，M为树的个数 ，Θ表示决策树的参数。

算法

采用前向分步算法，首先确定初始的提升树f0(x) = 0，第m步的模型是：

通过经验风险极小化确定下一棵决策树的参数：

策略

对于针对不同问题的提升树算法主要区别在于使用的损失函数