GBDT 负梯度 残差

我们通常说的GBDT去拟合残差是不全面的，是当损失函数是均方损失时，负梯度刚好是残差，残差只是特例。我们可以把 gbdt 的求解过程想象成线性模型优化的过程。 在线性模型优化的过程中。利用梯度下降我们总是让参数向负梯度的方向移动，使损失函数最小。现在来看 gbdt，假入我们现在有 t 课树，我们需要去学习是第 t+1 颗树，那么如何学习第 t+1 颗树才是最优的树呢？ 这个时候我们参考梯度优化的思想。现在的 t 课树就是我们现在的状态使用这个状态我们可以计算出现在的损失。如何让损失更小呢？我们只需要让 t+1 颗树去拟合损失的负梯度。正是借用了梯度优化的思想。所以叫梯度提升树。所以不是残差用负梯度代替，而是这个算法就是根据梯度下降的思想设计出来的。