提升树模型：从提升树到GBDT树

提升树模型：从提升树到GBDT树

一般来讲，提升方法实际采用加法模型与前向分步算法，以决策树为基函数的提升方法称为提升树。

提升树

提升树算法采用前向分布算法。
算法框架大致思想为：

1. 首先，确定初始提升树f₀(x)=0，第m步的模型是：
   
2. 对于每一个步的模型，都是通过经验风险最小化确定模型的参数：
   

问题类型	损失函数
回归问题	使用平方差损失函数
分类问题	使用指数损失函数
一般决策问题	一般损失函数

回归问题的提升树算法流程：
假设训练集为T，训练得到提升树为f_m(x)
(1) 初始化f₀(x)=0
(2) 对m = 1,2,…,M

• (i)计算残差：