本文深入探讨了梯度提升树的原理，通过损失函数的负梯度找到残差的近似值，并使用回归树进行拟合。通过泰勒展开，解释了为何选取负梯度方向能降低损失。此外，还介绍了包含多个叶子节点的回归树模型表示方法以及如何寻找最佳步长ρm和系数γjm，这些系数基于损失函数在每个叶子节点的最优常数更新值。
梯度提升树
梯度提升树，是利用损失函数的负梯度在当前模型的值作为残差的一个近似值，进行拟合回归树，这样只要可以求梯度的函数，我们都可以进行求解。
为了简便去掉求和符号和下标，改用向量化表示，则损失函数为：
loss = L ( y , f m ( x ) ) = L ( y − f m − 1 ( x ) − h m ( x ; a m ) ) \text {loss}=L\left(y_, f_{m}\left(x\right)\right)=L \left(y-f_{m-1}\left(x\right)-h_{m}\left(x; a_{m}\right)\right) loss=L(y,fm(x))=L(y−fm−1(x)−hm(x;am))
按照泰勒一阶展开(注意这里xgboost用的是二阶展开式)进行展开：
loss = L ( y , f m − 1 ( x ) + h m ( x ; a m ) ) = L ( y , f m − 1 ( x ) ) + ∂ L ( y , f m − 1 ( x ) ) ∂ f m − 1 ( x ) h m ( x ; a m ) \text { loss }=L\left(y, f_{m-1}(x)+h_{m}\left(x ; a_{m}\right)\right)=L\left(y, f_{m-1}(x)\right)+\frac{\partial L\left(y, f_{m-1}(x)\right)}{\partial f_{m-1}(x)} h_{m}\left(x ; a_{m}\right) loss =L(y,fm−1(x)+hm(x;am))=L(y,fm−1(x))+∂fm−1(x)∂L(y,fm−1(x)
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
