GBDT（Gradient Boosting Decision Tree）是机器学习中的回归算法，通过组合多棵决策树预测。存在两种描述版本：残差版本学习前N-1棵树的残差，而Gradient版本学习梯度下降值。虽然两者在总体流程和输入输出上一致，但在每步迭代时的求解方法不同。GBDT中的树是回归树，Boost指的是样本目标的迭代，不同于Adaboost的权重分配或Bootstrap的重采样。Shrinkage是逐步求精的手段，不同于Gradient的步长。GBDT可以应用于各种可导的cost function，使其在回归、排序等问题上展现出灵活性。
GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种用于回归的机器学习算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。当把目标函数做变换后，该算法亦可用于分类或排序。
本文主要从高层明确几个GBDT概念，主要讲GBDT的两个版本以及GBDT是什么不是什么。详细介绍较长，见另一篇博文 http://blog.csdn.net/suranxu007/article/details/49910323。
1. GBDT的两个不同版本（重要）
目前GBDT有两个不同的描述版本，两者各有支持者，读文献时要注意区分。残差版本把GBDT说成一个残差迭代树，认为每一棵回归树都在学习前N-1棵树的残差，之前我写的GBDT入门教程主要在描述这一版本，ELF开源软件实现中用的也是这一版本。
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
