前向分布算法与梯度提升决策树

前向分布算法思路

从前向后，每一步学习一个基函数及其系数，最终逐步逼近优化目标函数式。出自前向分布算法。

前向分布算法流程

前向分布算法将同时求解从$m=1$到$M$所有参数${\beta }_m,{\gamma }_m$的优化问题简化为逐次求解各个${\beta }_m,{\gamma }_m$的优化问题。参见前向分步算法。

梯度提升决策树算法

出自提升方法与梯度提升决策树。

输入：训练集；损失函数$L(y,f(x))$
输出：回归树$\hat{f}(x)$
初始化:

其中，$c$是回归值,它是只有一个根节点的树。
对于$m=1,2,\cdots ,M$
对$i=1,2,\cdots ,N$，计算

对$r_{mi}$拟合一个回归树，得到第$m$棵树的叶节点区域$R_{mj}$。
对$j=1,2,\cdots ,J$，为每个叶节点计算最好的回归值

更新

得到回归树

梯度提升决策树伪代码

出自GBDT（梯度提升决策树）算法（详细版）。