GBDT原理

概述

GBDT全称Gradient Boosting Decision Tree，梯度提升决策树，要理解GBDT的原理，首先理解一下GBDT中的Gradient Boosting 和Decision Tree

• Decision Tree（决策树）
  GBDT不论分类还是回归问题，使用的都是CART决策树，因为GBDT要拟合负梯度值，负梯度的值是连续的，所以选择回归

• Gradient Boosting（梯度提升）

• 提升树
  提升树算法目的就是拟合残差
  验证：

1. 假设我们前一轮迭代得到的学习器是：f_t-1(x)
2. 损失函数L（y，f_t-1(x)）
3. 本轮迭代找到一个弱学习器h_t(x)
4. 最小化让本轮的损失L（y，f_t(x)）=L（y，f_t-1(x),h_t(x)）
5. 用平方损失函数
   
   r=y-f_t-1(x)是当前模型拟合数据的残差
   结论：
   对于提升树来说只需要简单地拟合当前模型的残差
   ​
   1.负梯度

• 第t轮的第i个样本的损失函数的负梯度为：
  

• 平方损失为：
  y表示真实值，f(x)表示预测值
  

• 负梯度（求导）：
  

我们发现GBDT的负梯度就是残差，所以说对于回归问题，我们要拟合的就是残差

GBDT算法原理

• 初始化若学习器
  
• 迭代n=1,2,3…

1. 对每个样本i=1,2,…,N，计算负梯度，即残差
   

2. 将上步得到的残差作为样本新的真实值，并将数据作为下棵树的训练数据,得到一颗新的回归树f_m (x),)其对应的叶子节点区域为R_jm j=1,2,…,J。其中J为回归树t的叶子节点的个数

3. 对叶子区域j=1,2,…J计算最佳拟合值
   

4. 更新强学习器
   

5. 得到最终学习器
   

开始训练

1. 初始化弱学习器:
   

• 损失函数为平方损失，因为平方损失函数是一个凸函数，直接求导，倒数等于零，得到c作为预测值，后边迭代计算方法一样
  

• 令导数等于0
  

• 所以初始化时，c取值为所有训练样本标签值的均值

2. 对迭代轮数m=1,2,…,M:

• 计算负梯度
  

• 得到最后的强学习器：
  

• .预测样本
  GBDT需要将多棵树的得分累加得到最终的预测值