2. GBDT

以决策树为基函数的提升方法称为提升树

• 回归问题的提升树算法

  • 首先训练出一个基函数， 计算这个模型与训练数据的残差

  • 不断的拟合前一个模型得到的残差，从而得到当前模型，知道满足误差要求

  • 

• 分类问题的提升树算法

 

梯度提升

    对于提升树的优化过程，当损失函数为平方损失或者指数损失函数的时候，每一步优化都简单，但是对于一般的损失函数而言，每一步优化并不简单。

算法思想：

1. 初始化第一课回归树， 使得整体误差最小

2. 根据提升决策树的思想，每次训练都是拟合上一课树的残差

3. 算法的改进就是利用损失函数的负梯度来拟合残差，这样所有的负梯度加起来就会得到一个整体的梯度下降