GBDT家族总结(1)
-
GBDT (Gradient Boosting Decision Tree)
GBDT 一个直观的idea就是使用树的形式来实现一个梯度逼近的过程,使得我们的函数损失最小。它是一个集成的模型,是n个CART线性相加的结果
梯度提升算法:
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/dfe2a61811d102a0b9c8295c1fbd7543.png)
步骤二中,计算残差,简化形式就是
r i m = y i − f m − 1 ( x i ) m = 1 , 2... M ( M 颗 树 ) r_{im}=y_i-f_{m-1}(x_i) \quad m=1,2...M \quad(M颗树) rim