我们通常说的GBDT去拟合残差是不全面的,是当损失函数是均方损失时,负梯度刚好是残差,残差只是特例。我们可以把 gbdt 的求解过程想象成线性模型优化的过程。 在线性模型优化的过程中。利用梯度下降我们总是让参数向负梯度的方向移动,使损失函数最小。现在来看 gbdt,假入我们现在有 t 课树,我们需要去学习是第 t+1 颗树,那么如何学习第 t+1 颗树才是最优的树呢? 这个时候我们参考梯度优化的思想。现在的 t 课树就是我们现在的状态使用这个状态我们可以计算出现在的损失。如何让损失更小呢?我们只需要让 t+1 颗树去拟合损失的负梯度。正是借用了梯度优化的思想。所以叫梯度提升树。所以不是残差用负梯度代替,而是这个算法就是根据梯度下降的思想设计出来的。
GBDT 负梯度 残差
最新推荐文章于 2023-11-30 11:07:52 发布