Homework——GBDT（梯度提升树）

1. 前向分步算法

考虑加法模型$f(x)={\sum }_{m=1}^M{\beta }_{m}b(x;{\gamma }_m)$，其中，b是基分类器，$\gamma$是基分类器的参数， $\beta$是基分类器的系数。在标签数据以及损失函数L(y,f(x))已知的情况下，为了求解出f(x)，需要最小化损失函数
$$\underset{{\beta }_m,{\gamma }_m}{\min }L(y,f(x_i))$$
前向分步算法就是为了解决这一优化问题，简单来说：因为学习的是加法模型，如果能够从前向后，每一步只学习一个基分类器以及他的系数，逐渐逼近之前提到的损失函数，那么就可以简化他的复杂度。具体算法如下：
输入：训练数据集$T=(x_1,y_1),(x_2,y_2),\dots ,(x_N,y_N)$;损失函数L(y,f(x))；基函数集$b(x;\gamma )$;
输出：加法模型f(x)
(1) 初始化$f_0(x)=0$
(2)对于 $m=1,2,\dots ,M$:
①极小化损失函数
$({\beta }_m,{\gamma }_m)=argmi{n}_{\beta ,\gamma }{\sum }_{i=1}^{N}L(y_i,f_{m-1}(x_i)+\beta b(x;\gamma ))$
得到参数$\beta ,\gamma$
②更新$f_m(x)=f_{m-1}(x)+{\beta }_{m}b(x,{\gamma }_m)$
(3)得到加法模型
$f(x)=f_M(x)={\sum }_{m=1}^M{\beta }_{m}b(x;{\gamma }_m)$
这样，前向分步算法将同时求解从m=1到M所有的参数${\beta }_m,{\gamma }_m$的优化问题简化为逐步求解各个${\beta }_m,{\gamma }_m$的问题.
梯度提升树使用了前向分步算法，但是弱分类器限定了只能使用CART回归树模型。

2. 负梯度拟合

在上一节中，我们介绍了前向分步算法的一般步骤，在GBDT中，我们用负梯度拟合来解决第二步中损失函数拟合的问题。
通过用损失函数的负梯度来拟合本轮损失的近似值，进而拟合一个CART回归树。
第t轮的第i个样本的损失函数负梯度表示为：
$r^{}$