一文速学-GBDT模型算法原理以及实现+Python项目实战

目录

前言

一、GBDT算法概述

1.决策树

2.Boosting

3.梯度提升

 使用梯度上升找到最佳参数

二、GBDT算法原理

1.计算原理

2.预测原理

三、实例算法实现

 1.模型训练阶段

1）初始化弱学习器

 2）对于建立M棵分类回归树​：

 四、Python实现

1.原始决策树累积

2.sklearn

---

前言

上篇文章内容已经将Adaboost模型算法原理以及实现详细讲述实践了一遍，但是只是将了Adaboost模型分类功能，还有回归模型没有展示，下一篇我将展示如何使用Adaboost模型进行回归算法训练。首先还是先回到梯度提升决策树GBDT算法模型上面来，GBDT模型衍生的模型在其他论文研究以及数学建模比赛中十分常见，例如XGBoost，LighGBM，catboost。其实将这些算法重要的点拿出来就更容易理解了，主要是五个方向的变动改进:

算法差异点	GBDT	XGBoost	LightGBM	CatBoost
弱学习器	CART回归树	1.CART回归树 2.线性学习器 3.Dart树	Leaf-wise树	对称树
寻找分裂点	贪心算法	近似算法	直方图算法	预排序算法
稀疏值处理	无	稀疏感知算法	EFB(互斥特征捆绑)	无
类别特征	不直接支持，可自行编码后输入模型	同GBDT	直接支持，GS编码	直