【机器学习】集成学习：一文弄懂GBDT算法原理和实现

阿黎逸阳

于 2024-05-02 21:33:09 发布

阅读量218

点赞数 5

分类专栏：风控建模原理与实现文章标签：机器学习集成学习 GBDT Python实现GBDT 风控建模

本文链接：https://blog.csdn.net/qq_32532663/article/details/138399741

版权

风控建模原理与实现专栏收录该内容

77 篇文章 17 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文深入探讨了GBDT（梯度提升决策树）算法，包括其名词解释、工作原理、数学推导及在车贷领域的应用。GBDT作为一种集成学习方法，通过迭代优化损失函数，构建多个决策树以提升模型性能。在车贷风险建模中，GBDT展示了优秀的预测能力。文章还详细介绍了GBDT的参数设置及其在Python中的实现。

摘要由CSDN通过智能技术生成

GBDT是一种集成学习算法，属于Boosting类型，通过叠加多个决策树的预测结果得出最终的预测结果。这个算法是很多算法的基石，比如生产中常用的XGBoost算法和LightGBM算法。GBDT算法的原理和实现比较简单，本文接下来将进行详细阐述。

文章目录

一、名词解释

集成学习：通过构建并结合多个机器学习模型来改善模型的性能。通过训练多个模型，并将它们的预测结果进行某种方式的结合，通常可以得到比单一模型更好的预测结果。

Bagging：是Bootstrap Aggregating的缩写，是一种通过结合多个模型的预测结果来减少模型方差的方法。在Bagging中，每个模型都是在原始数据集的随机子集上进行训练的，这些随机子集是通过有放回的抽样得到的。然后，所有模型的预测结果通过投票（对于分类问题）或平均（对于回归问题）的方式进行结合，典型的代表是随机森林。

Boosting：基本思想是三个臭皮匠赛过诸葛亮。算法思路是采用串行的方式训练基分类器，每一层在训练时，给前一层基分类器分错的样本更高的权重，最后把各层分类器的结果层层加权叠加得到最终的结果。

GBDT：是Gradient Boosting Decision Tree的缩写，是一种基于决策树的集成学习算法，也是一种迭代式的boosting算法。基本原理是迭代地训练决策树，每次训练都基于之前训练结果来进行优化。训练过程基于梯度下降的思想，使用了加法模型和函数优化方法。