【机器学习】十五、Gradient boosting算法原理详解

最新推荐文章于 2025-04-11 22:52:35 发布

Asher117

最新推荐文章于 2025-04-11 22:52:35 发布

阅读量7.7k

点赞数 6

分类专栏：机器学习文章标签： GBDT 算法原理机器学习 boosting 梯度提升算法

本文链接：https://blog.csdn.net/Asher117/article/details/103523968

版权

本文详细介绍了梯度提升算法（GBDT），包括其简介、回归和分类的应用，以及优缺点。GBDT是一种前向分布算法，通过拟合残差逐步减少损失。在回归问题中，GBDT通过损失函数的负梯度来构建回归树，并在分类问题中展示了其灵活性。该算法以高准确率和对异常值的鲁棒性著称，但训练过程难以并行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

上篇文章分享了AdaBoost的算法原理，这篇文章将讲解Boosting家族中的梯度提升算法(Gradient boosting)。建议看本文之前，先看一下AdaBoost算法的原理。码字不易，喜欢请点赞！！！
在这里插入图片描述

1.梯度提升算法简介

梯度提升(Gradient boosting)，一般简称为GBDT，是由大牛Freidman提出来的。上一节，分享了AdaBoost算法的原理，可以知道AdaBoost算法是前向分布算法。同样，GBDT也是前向分布算法。但是AdaBoost每次是极小化损失函数，而GBDT每次通过拟合上一次的残差来减小损失。并且AdaBoost的基学习器不限定，而GBDT的基学习器限定为CART。

例如，比如一个人身高180，我们首先用170拟合，发现差了10cm，然后用8cm，去拟合，发现残差为2cm，然后我们用1.5cm去拟合，发现差了0.5cm，一直这样拟合下去，残差将会越来越小，知道达到我们的可接受范围，或者拟合次数达到上限。

其关键是采用损失函数的负梯度在当前模型的值作为回归问题提升树算法中的残差的近似值，来拟合一个回归树。例如，训练数据 $x_i,y_i$ 在第m轮时，首先计算 $x_i$ 在 $f_{m-1}(x)$ 上的残差 $r_{mi}$ 来作为第m轮拟合的数据 $x_i,r_{mi})$ ，其中
$r_{mi}=-[\frac{∂L(y,f(x_i))}{∂f(x_i)}]_{f(x)=f_{m-1}(x)}$