机器学习 | 详解GBDT梯度提升树原理，看完再也不怕面试了

最新推荐文章于 2024-04-09 17:13:48 发布

TechFlow

最新推荐文章于 2024-04-09 17:13:48 发布

阅读量510

点赞数 2

分类专栏：机器学习文章标签： python 机器学习决策树 GBDT

本文链接：https://blog.csdn.net/TechFlow/article/details/107834884

版权

本文深入浅出地介绍了GBDT（梯度提升决策树）的核心概念，包括基础的决策树理论、Boosting方法以及GBDT的训练过程。通过实例解释了梯度和残差的概念，探讨了如何用GBDT解决回归问题。文章适合有一定机器学习基础的读者，有助于理解GBDT的工作原理。

摘要由CSDN通过智能技术生成

本文始发于个人公众号：TechFlow，原创不易，求个关注

今天是机器学习专题的第30篇文章，我们今天来聊一个机器学习时代可以说是最厉害的模型——GBDT。

虽然文无第一武无第二，在机器学习领域并没有什么最厉害的模型这一说。但在深度学习兴起和流行之前，GBDT的确是公认效果最出色的几个模型之一。虽然现在已经号称进入了深度学习以及人工智能时代，但是GBDT也没有落伍，它依然在很多的场景和公司当中被广泛使用。也是面试当中经常会问到的模型之一。

遗憾的是市面上关于GBDT的资料虽然不少，但是很少有人把其中的核心精髓介绍清楚的。新手在初学的时候往往会被”梯度“，”残差“等这些令人费解的概念给困惑住，耽误了算法原理的学习和理解。但其实GBDT整体的原理还是比较直观和简单的，只要我们找对了方法，抓住了核心，我相信对于绝大多数人来说，应该都不会问题。

GBDT基础概念

GBDT的英文原文是Gradient Boosting Decision Tree，即梯度提升决策树。从它的英文表述我们可以看出来，GBDT的基础还是决策树。决策树我们在之前的文章当中曾经有过详细的讨论，我们这里就不再赘述了。在GBDT当中用到的主要是决策树的CART算法，在CART算法当中，我们每次都会选择一个特征并且寻找一个阈值进行二分。将样本根据阈值分成小于等于阈值的以及大于阈值的两个部分，在CART树当中，同一个特征可以重复使用，其他类似的ID3和C4.5都没有这个性质。

另外一个关键词是Boosting，Boosting表示一种集成模型的训练方法，我们之前在介绍AdaBoost模型的时候曾经提到过。它最大的特点就是会训练多个模型，通过不断地迭代来降低整体模型的偏差。比如在Adaboost模型当中，会设置多个弱分类器，根据这些分类器的表现我们会给与它们不同的权值。通过这种设计尽可能让效果好的分类器拥有高权重，从而保证模型的拟合能力。

但GBDT的Boosting方法与众不同，它是一个由多棵CART决策回归树构成的加法模型。我们可以简单理解成最后整个模型的预测结果是所有回归树预测结果的和，理解了这一点对于后面理解梯度和残差非常重要。

我们可以试着写一下GBDT的预测公式：

$f_M(x) = \sum_{i=1}^MT(x, \theta_i)$

公式中的M表示CART树的个数， $\theta_i)$ 表示第i棵回归树对于样本的预测结果，其中的 $\theta$ 表示每一棵回归树当中的参数。所以整个过程就和我刚才说的一样，GBDT模型最后的结果是所有回归树预测结果的加和。

但是这就有了一个问题，如果是回归问题那还好说，如果是分类问题那怎么办？难道分类结果也能加和吗？

其实也是可以的，我们知道在逻辑回归当中，我们用到的公式是 $\hat{y}=\frac{1}{1 + e^{-\theta x}}$ ，这个式子的结果表示样本的类别是1的概率。我们当然不能直接来拟合这个概率，但是我们可以用加和的方式来拟合 $\theta x$ 的结果，这样我们就间接得到了概率。