BDT提升树模型

什么是提升树？
提升树是以分类树或者回归树为基分类器的提升算法，提升树被认为是统计学习中性能最好的方法之一。
提升树模型是采用加法模型和前向分步算法，以决策树为基分类器，最后得到的模型。

加法模型
形如下图的函数表达形式

其中，
在给定训练数据及损失函数 L(y,f(x))的条件下，学习加法模型f(x)成为损失函数极小化问题：

这个问题按照常规求导很难计算，采用前向分步算法可以较为容易的解决此问题。
前向分步算法的思想是：由于学习的是加法模型，如果可以从前往后，每一步只学习一个基函数和它的系数，逐步逼近上述问题，就能够简化优化的复杂度。具体地，每步只需优化如下损失函数：

前向分步算法