机器篇——集成学习(五) 细说梯度提升(Gradient Boost)算法

最新推荐文章于 2025-09-19 11:20:51 发布

原创

最新推荐文章于 2025-09-19 11:20:51 发布 · 1.9k 阅读

·

0

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

文章标签：

本文详细介绍了梯度提升算法的思想和实现，包括利用损失函数的负梯度来拟合回归树，以及通过梯度下降法在函数空间中优化模型。讲解了算法的每一步目标和具体流程，强调了残差的重要性，并为理解GBDT算法奠定了基础。

返回主目录

返回集成学习目录

上一章：机器篇——集成学习(四) 细说 AdaBoost 算法

下一章：机器篇——集成学习(六) 细说 GBDT 算法

本小节，细说梯度提升(Gradient Boost)算法，下一小节细说 GBDT 算法

二. 具体算法

5. 梯度提升(Gradient Boost)算法

(1). Gradient Boost 算法思想

①. 利用损失函数的负梯度在当前模型的值作为回归问题提升树算法中残差的近似值，拟合一个回归树。

②. 梯度下降的经典数值优化公式：

$\LARGE \theta = \theta - \alpha \frac{\partial L(\theta)}{\partial \theta}$

③. Gradient Boost 采用和 AdaBoost 同样的加法模型，在第 $\large m$ 次迭代中，前 $\large m -1$ 个基学习器都是固定的，即：

$\LARGE f_{m}(x) = f_{m - 1}(x) + \rho _{m} h_{m}(x)$

④. 在第&

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。