gbdt梯度提升树

1 概述

这采用boosting的思想，把表现一般的学习器通过一定的方法结合成效果相对比较好的学习器

gbdt是提升树的一种，是多棵树的加权结果。采用的是分类回归树(CART)，树的划分采用基尼系数。

采用前向分布算法

 

2 提升树算法

3 gbdt

来源https://zhuanlan.zhihu.com/p/31639299

 

4 相关问题

1 gbdt为什么是用负梯度代替残差？

首先这是逻辑上颠倒的错误。实质没有明白gbdt是怎么回事

gbdt当前树学习的就是负梯度，只不过损失函数是MSE时，负梯度是残差。