梯度提升树-负梯度和残差的理解

提升树：提升方法采用加法模型（基函数的线性组合）与前向分布算法，以决策树为基函数的提升方法为提升树。

　　　　对于一般的回归树，采用平方误差损失函数，这时根据前向分布每次只需要达到最优化，就能保证整体上的优化。由于平方误差的特殊性，可以推导出每次只需要拟合残差（真实值-预测值）。

梯度提升树：而对于其他损失函数，提出了利用负梯度表示残差的近似值。

为什么采用损失函数的负梯度？

L(y,f(x))中将f(x)看成一个参数，为了使L损失函数最小，采用梯度下降的方法即：

f(x)_m=f(x)_m-1-(dL/df(x))//与一般的梯度下降法相同

而f(x)_m=f(x)_m-1+T(x;Q)//Q为前向分布法每次得到这棵树的参数，T(x;Q)为训练的新树

所以有f(x)_m-1+T(x;Q)=f(x)_m-1-(dL/df(x))

所以有T(x;Q)=-(dL/df(x))

左边为预测值，右边为真实值，所以整个过程就变成了每次拟合损失函数的负梯度的值。

所以可以将这种方法看成一般损失函数的情况，而平方损失是特殊的情况（拟合残差）。

转载于:https://www.cnblogs.com/mdumpling/p/8252521.html