大白话解释GBDT

       GBDT 是一种boosting算法，该算法由多棵CART回归树组成，所有树的结论累加起来做最终答案。学GBDT到底学什么？第一、GBDT的损失函数是什么？第二、GBDT的核心思想

第三、为什么说GBDT是基于残差的拟合预测，那为什么不叫残差提升树呢？

1、因为GBDT基树全是CART回归树，所以基本上用CART是预测回归问题（有认识加以改造可以用来预测分类问题，我没研究过）。基树的损失函数为均方误差如图1

                                                                      

                                                                            图1 CART回归损失函数

           GBDT的损失函数如图2

                                          

 

                                                                             图2 GBDT的损失函数

2、3 GBDT核心思想是：每一次建立模型，是在之前建立模型损失函数的梯度下降方向。再换一个说法，新模型是在拟合上一个模型产生的残差，最终将多棵树的预测结果相加。蒙蔽了把！！！怎么拟合残差和梯度下降等价了呢？因为CART损失函数如果采用均方误差损失函数，那么导数结果的复值就是残差。这里的求梯度不是对某个参数求导数，是对f(x)这个粒度求导数。（区别于逻辑回归里对参数的梯度更新）

                                

                                                                                  提升树示例

该例子很直观的能看到，预测值等于所有树值得累加，如A的预测值 = 树1左节点 值 15 + 树2左节点 -1 = 14。