GBRT原理介绍

GBDT有很多简称，有GBT（Gradient Boosting Tree）, GTB（Gradient Tree Boosting ）， GBRT（Gradient Boosting Regression Tree）, MART(Multiple Additive Regression Tree)，其实都是指的同一种算法。
如集成方法原理介绍中，集成方法主要分为Bagging和Boosting方法，Bagging方法得典型例子是随即森林RF，而Boosting的一个典型例子就是GBDT。

1.GBRT原理介绍

GBRT是集成学习Boosting家族的成员，使用了前向分布算法，但是弱学习器限定了只能使用CART回归树模型。前向分布算法的思想是基于当前模型和拟合函数选择合适的决策树函数，从而最小化损失函数。
GBRT主要有两个部分组成：
回归树：Regression Tree(RT)
梯度提升：Gradient Boosting(GB)

（1）回归树（RT）：GBRT是迭代的决策树算法，决策树分为两类，回归树和分类树，分类树用于分类标签值，回归树用来预测实际值。GBRT是一种迭代的回归树算法，由多棵回归树组成，所有回归树的结论累加起来为最终结果。
（2）梯度提升（GB）：Boosting通过迭代多棵树来共同决策。核心是每一棵树都是学习之前所有树的结论和残差。