机器学习-GBDT算法梳理

学习任务：
前向分步算法
负梯度拟合
损失函数
回归
二分类，多分类
正则化
优缺点
sklearn参数
应用场景

前言
提升(Boosting)方法是集成学习方法的一种，在分类问题中，它通过改变训练样本的权重，学习多个分类器，将弱分类器组装成一个强分类器，提高分类的性能。其最具代表性的是AdaBoost算法。

提升方法实际采用加法模型（即基函数的线性组合）与前向分步算法。提升树(Boosting Tree)是以决策树为基函数的提升方法。对分类问题决策树是二叉分类树，对回归问题决策树是二叉回归树。

提升树模型可以表示为决策树的加法模型：

其中T(x;Θm)表示决策树；Θm表示决策树的参数；M为树的个数。

不同问题的提升树学习算法，其主要区别在于损失函数不同。

• 平方损失函数常用于回归问题，
• 指数损失函数用于分类问题，
• 一般损失函数用一般于决策问题。

GBDT有很多简称，有GBT（Gradient Boosting Tree） GTB(Gradient Tree Boosting ) GBRT(Gradient Boosting Regression Tree) MART(Multiple Additive Regression Tree) 其实都是一种算法。

GBDT也是使用的前向分步算法和加法模型