博客出于待整理状态
GBDT的原理在参考文献的第一篇博客中,我就不再详述它的原理了。
图1-3主要是参考文献第二篇文章中的。为了学习了解相关概念。
![](https://i-blog.csdnimg.cn/blog_migrate/d78391f224adf381c2248e26b49994e9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a10c4af7939f09b313a70a818b1f45ca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/20207136f1591244244c1b479ae06dec.png)
![](https://i-blog.csdnimg.cn/blog_migrate/67bbf735c3800c8e7029c79a0a4e937c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a3c03e71f6eded2ef5e290eb2bd726b5.png)
- 优点,
- 缺点
- 与XGboost的不同。(实际上GBDT泛指所有梯度提升树算法,包括XGBoost,它也是GBDT的 一种变种,这里为了区分它们,GBDT特指“Greedy Function Approximation:A Gradient Boosting Machine”里提出的算法,它只用了 一阶导数信息。)
- GBDT在函数空间中利用梯度下降法进行优化,XGBoost在函数空间中牛顿法进行优化。
- 决策树的不同 。
参考文献: