机器学习算法梳理(五)：GBDT梯度提升树

最新推荐文章于 2024-04-09 17:13:48 发布

程序员椰子橙

最新推荐文章于 2024-04-09 17:13:48 发布

阅读量343

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/devcy/article/details/86596535

版权

GBDT是Boosting家族的一员，不同于Adaboost，它使用CART回归树模型，通过迭代寻找最佳弱学习器减少损失。每轮迭代的目标是使损失函数最小化，以逐步优化预测。前向分布算法在GBDT中用于构建提升树模型，当损失函数为指数函数且基函数为二叉分类树时，提升树模型与AdaBoost等价。

摘要由CSDN通过智能技术生成

GBDT描述

GBDT也是集成学习Boosting家族的成员，但是却和传统的Adaboost有很大的不同。回顾下Adaboost，我们是利用前一轮迭代弱学习器的误差率来更新训练集的权重，这样一轮轮的迭代下去。GBDT也是迭代，使用了前向分布算法，但是弱学习器限定了只能使用CART回归树模型，同时迭代思路和Adaboost也有所不同。

GBDT思想

在GBDT的迭代中，假设我们前一轮迭代得到的强学习器是ft−1(x)ft−1(x), 损失函数是L(y,ft−1(x))L(y,ft−1(x)), 我们本轮迭代的目标是找到一个CART回归树模型的弱学习器ht(x)ht(x)，让本轮的损失函数L(y,ft(x)=L(y,ft−1(x)+ht(x))L(y,ft(x)=L(y,ft−1(x)+ht(x))最小。也就是说，本轮迭代找到决策树，要让样本的损失尽量变得更小。

GBDT的思想可以用一个通俗的例子解释，假如有个人30岁，我们首先用20岁去拟合，发现损失有10岁，这时我们用6岁去拟合剩下的损失，发现差距还有4岁，第三轮我们用3岁拟合剩下的差距，差距就只有一岁了。如果我们的迭代轮数还没有完，可以继续迭代下面，每一轮迭代，拟合的岁数误差都会减小。