高级算法 GBDT算法梳理

1、前向分布算法

      统计学习方法

      

     （假设为树模型）b(x;y)为基函数，使上棵树的预测值与真实值损失函数最小时得到的系数β和γ，其中γ是基函数中特征的权重向量，β为当前树的权重，向前累加基函数，得到当前模型的函数f(x)，依次训练直到m的预设值。

2、负梯度拟合

      用损失函数的负梯度来拟合本轮损失的近似值，进而拟合一个CART回归树。

      

      利用(xi,rti)(i=1,2,..m)(xi,rti)(i=1,2,..m),我们可以拟合一颗CART回归树，得到了第t颗回归树，其对应的叶节点区域Rtj,j=1,2,...,JRtj,j=1,2,...,J。其中J为叶子节点的个数。

　  针对每一个叶子节点里的样本，我们求出使损失函数最小，也就是拟合叶子节点最好的的输出值ctjctj如下(叶子区域最好的拟合值)：

    

    本轮的决策树