GBDT算法梳理

目录

1.前向分布算法

2.负梯度拟合

3.损失函数

4.回归

5.二分类、多分类

6.正则化

7优缺点

8.sklearn参数

9.应用场景

为了对GBDT有一个更清楚的认识，首先简单将GBDT和Adaboost做一个du对比性的说明。GBDT使用的是加法模型和前向分布算法，而AdaBoost算法是前向分布加法算法的特例，前向分布算法学习的是加法模型，当基函数为基本分类器时，该加法模型等价于Adaboost的最终分类器。

GBDT也是集成学习Boosting家族的成员，但是却和传统的Adaboost有很大的不同。回顾下Adaboost，我们是利用前一轮迭代弱学习器的误差率来更新训练集的权重，这样一轮轮的迭代下去。GBDT也是迭代，使用了前向分布算法，但是弱学习器限定了只能使用CART回归树模型，同时迭代思路和Adaboost也有所不同。

在GBDT的迭代中，假设我们前一轮迭代得到的强学习器是, 损失函数是, 我们本轮迭代的目标是找到一个CART回归树模型的弱学习器，让本轮的损失函数最小。也就是说，本轮迭代找到决策树，要让样本的损失尽量变得更小。GBDT本轮迭代只需拟合当前模型的残差。

GBDT的思想可以用一个通俗的例子解释，假如有个人30岁，我们首先用20岁去拟合，发现损失有10岁，这时我们用6岁去拟合剩下的损失，发现差距还有4岁，第三轮我们用3岁拟合剩下的差距，差距就只有一岁了。如果我们的迭代轮数还没有完，可以继续迭代下面，每一轮迭代，拟合的岁数误差都会减小。

1.前向分布算法

这样，前向分布算法将同时求解从m=1到M所有参数的优化问题简化为逐次求解各个基函数参数的优化问题。

2.负梯度拟合

提升树(dt)利用加法模型与前向分布算法实现学习的优化过程。当损失函数时平方损失和指数损失函数时，每一步优化就很简单。但对一般损失函数而言，往往每一步优化并不那么容易。针对这一问题，提出了梯度提升(gradient boosting)算法。这里利用最速下降法的近似方法，其关键是利用损失函数的负梯度在当前模型的值

                                                      

作为回归问题提升树算法中的残差的近似值，拟合一个回归树。

负梯度拟合

通过损失函数的负梯度来拟合，我们找到了一种通用的拟合损失误差的办法，这样无轮是分类问题还是回归问题，我们通过其损失函数的负梯度的拟合，就可以用GBDT来解决我们的分类回归问题。区别仅仅在于损失函数不同导致的负梯度不同而已。

3.损失函数

这里我们再对常用的GBDT损失函数做一个总结。

对于分类算法，其损失函数一般有对数损失函数和指数损失函数两种:

a) 如果是指数损失函数，则损失函数表达式为

其负梯度计算和叶子节点的最佳负梯度拟合参见Adaboost原理篇。

b) 如果是对数损失函数，分为二元分类和多元分类两种，参见第5节。

4.回归

4.1回归问题的提升树算法

在该算法中使用的损失函数是平方误差，所以优化简单，但是当遇到一般损失函数时该算法就不好用，这时负梯度拟合就派上用。

4.2梯度提升算法

         

在GBDT中使用的都是负梯度拟合策略

5.二分类、多分类

这里我们再看看GBDT分类算法，GBDT的分类算法从思想上和GBDT的回归算法没有区别，但是由于样本输出不是连续的值，而是离散的类别，导致我们无法直接从输出类别去拟合类别输出的误差。

为了解决这个问题，主要有两个方法，一个是用指数损失函数，此时GBDT退化为Adaboost算法。另一种方法是用类似于逻辑回归的对数似然损失函数的方法。也就是说，我们用的是类别的预测概率值和真实概率值的差来拟合损失。本文仅讨论用对数似然损失函数的GBDT分类。而对于对数似然损失函数，我们又有二元分类和多元分类的区别。

5.1二元GBDT分类算法

5.2多元GBDT分类算法

6.正则化

7优缺点

GDBT本身并不复杂，不过要吃透的话需要对集成学习的原理，决策树原理和各种损失函树有一定的了解。由于GBDT的卓越性能，只要是研究机器学习都应该掌握这个算法，包括背后的原理和应用调参方法。目前GBDT的算法比较好的库是xgboost。当然scikit-learn也可以。

最后总结下GBDT的优缺点。

GBDT主要的优点有：

1) 可以灵活处理各种类型的数据，包括连续值和离散值。

2) 在相对少的调参时间情况下，预测的准确率也可以比较高。这个是相对SVM来说的。

3）使用一些健壮的损失函数，对异常值的鲁棒性非常强。比如 Huber损失函数和Quantile损失函数。

GBDT的主要缺点有：

1)由于弱学习器之间存在依赖关系，难以并行训练数据。不过可以通过自采样的SGBT来达到部分并行

8.sklearn参数

https://blog.csdn.net/dujiahei/article/details/86695827

9.应用场景

GBDT几乎可用于所有回归问题（线性/非线性），相对logistic regression仅能用于线性回归，GBDT的适用面非常广。
​亦可用于二分类问题（设定阈值，大于阈值为正例，反之为负例）；不适合做多分类问题；
排序问题；
常用于各大数据挖掘竞赛（模型融合）；
广告推荐​​​。

参考链接：

https://www.cnblogs.com/pinard/p/6140514.html

https://blog.csdn.net/dujiahei/article/details/86695827

GBDT多分类实例：https://www.cnblogs.com/callyblog/p/9734872.html