GBDT的理解

下面我们先了解什么是提升树

都知道，在每个基分类器（CART树）生成的过程，有一个最小化损失函数的步骤，那么对于回归树来说，当我们使用的损失函数是平方损失误差的话，来看看是什么情况：

（注意图片上的标注红字）

看了红字，我觉得大家应该能理解有些书上说的残差，拟合什么的了。

 

搞懂了提升树，那么来看看什么是GBDT,它也是提升树，只不过是用梯度求解的方法，那么当采用平方损失作为损失函数时，你可以先计算一下此时损失函数的梯度值是什么，你会恍然大悟。

我们来看看下面的图片，平方损失的负梯度求解其实就是我们上面的残差，那么此时用这个负梯度去代替残差，我们就叫GBDT;那么对于一般的损失函数，它的梯度值就不是残差，但是我们用这个梯度去近似残差，这就是更一般的GBDT;

总的来说，当我们用梯度去代替或近似残差，结合所以样本的特征向量，也就是用（X,r残差）去生成回归树，再生成提升树的过程，其实就是GBDT的过程。

最后看一下提升树的算法流程：