机器学习算法二：详解Boosting系列算法二GBM

最新推荐文章于 2024-06-19 14:08:05 发布

harrycare

最新推荐文章于 2024-06-19 14:08:05 发布

阅读量2.9w

点赞数 6

分类专栏：机器学习理论文章标签：机器学习

本文链接：https://blog.csdn.net/weixin_38629654/article/details/80535396

版权

GBM（Gradient Boosting Machine）是一种梯度提升树算法，结合了boosting加法模型和boosted tree的概念。文章介绍了如何从Adaboost和提升树过渡到GBM，并详细阐述了GBM的计算步骤，包括初始化和梯度计算。作者指出，GBM是通过梯度下降优化残差来构建模型，并计划在后续学习中进一步深入解析该算法。参考资料包括《统计学习方法》和相关专业论文。

摘要由CSDN通过智能技术生成

GBM

GBM 全称gradient boosting machine，一般叫做梯度提升树算法。是一类很常用的集成学习算法，在多次数据挖掘比赛中获得了优秀的成绩。
在解释GBM时，有很多内容需要提前一并解释了才有助于理解GBM算法。建议阅读此篇内容以前先了解一个Adaboost算法，接下来此文还会给出boosting加法模型以及boosted tree（提升树）的解释，最后再讲解GBM算法。

boosting加法模型

提升类的算法可以认为是一种加法模型：

f (x) = \sum m = 1 M α m T (x; Θ m)

$f(x)=\sum\limits_{m = 1}^M {{\alpha _m}} T(x;{\Theta _m})$

αm α m $\alpha _m$ 是每个基学习器的权系数，

T(x;Θm) T ( x ; Θ m ) $T(x;{\Theta _m)}$ 代表学习得到的第m个基学习器，

m m $m$ 为学习器个数，

Θ_{m}

$\Theta _m$ 为学习器分类的参数，一般这里指分类树或者回归树模型参数。
在给定训练数据和损失函数形式后，boosting学习模型可以定义为一个损失函数极小化的问题, 优化的目标函数为:

arg min f \sum i = 1 N L (y i, f (x i))

$\mathop {\arg \min }\limits_f \sum\limits_{i = 1}^N {L({y_i},f({x_i}))}$

L L $L$ 为损失函数，

N

$N$ 为样本个数。从这两个定义我们就可以知道boosting类算法的模型和优化目标函数是什么。接下来理解boosted tree 就容易了。

boosted tree

提升树是以分类树和回归树为基学习器的提升算法，就是将 $T(x;{\Theta _m)}$ 学习器定义为了决策树。提升树被认为是统计学性能最好的方法之一。为了方便大家理解，这里就不再另外定义模型了（参考前文），提升树模型如下

f (x) = \sum m = 1 M α m T (x; Θ m)

$f(x)=\sum\limits_{m = 1}^M {{\alpha _m}} T(x;{\Theta _m})$ 对于二分类问题，提升树可以看做采用二分类树的adaboost算法，所以这里不再详细解释。因此这里的

T(x;Θm) T ( x ; Θ m ) $T(x;{\Theta _m})$ 为回归树。回归提升树使用的前向分布计算法：

最低0.47元/天解锁文章

harrycare

关注

6
点赞
踩
84

收藏

觉得还不错? 一键收藏
3
评论
机器学习算法二：详解Boosting系列算法二GBM

1 GBM GBM 全称gradient boosting machine，一般叫做梯度提升树算法。是一类很常用的集成学习算法，在多次数据挖掘比赛中获得了优秀的成绩。在解释GBM时，有很多内容需要提前一并解释了才有助于理解GBM算法。建议阅读此篇内容以前先了解一个Adaboost算法，接下来此文还会给出boosting加法模型以及boosted tree（提升树）的解释，最后再讲解GBM算法...
复制链接

扫一扫