GBDT算法小结

本博客属于本人学习总结所写，若有不正之处，请指正，谢谢！

在集成学习算法部分，GBDT（Gradient Boosting Decision Tree）是一个非常重要的算法，也是所有算法中最重要的算法之一。

个人理解GBDT算法的思想是：

1. 每轮根据样本和损失函数的负梯度构建一颗CART（一种二叉树，标准为GINI系数）回归树，共构建t颗回归树，每轮对应的叶子节点区域为Rtj，j表示第j个叶子节点；

2. 迭代时，使用的是真实值与前面所有轮预测值之差（残差）来进行构建回归树，并在达到理想值时，停止构建。

必须理解的几个公式：

本轮得到的强学习器表达式（1）：

本轮决策树拟合函数（2）：