博客出于待整理状态
GBDT的原理在参考文献的第一篇博客中,我就不再详述它的原理了。
图1-3主要是参考文献第二篇文章中的。为了学习了解相关概念。
- 优点,
- 缺点
- 与XGboost的不同。(实际上GBDT泛指所有梯度提升树算法,包括XGBoost,它也是GBDT的 一种变种,这里为了区分它们,GBDT特指“Greedy Function Approximation:A Gradient Boosting Machine”里提出的算法,它只用了 一阶导数信息。)
- GBDT在函数空间中利用梯度下降法进行优化,XGBoost在函数空间中牛顿法进行优化。
- 决策树的不同 。
参考文献: