GBDT回归树理论推导--全网最详细理论推导

参考：

• https://zhuanlan.zhihu.com/p/47185756
• https://zhuanlan.zhihu.com/p/494536555
• https://zhuanlan.zhihu.com/p/465921554
• https://zhuanlan.zhihu.com/p/91652813
• https://zhuanlan.zhihu.com/p/89614607

Boosting 思想

Boosting模型可以抽象为一个前向加法模型（additive model）：$F(x;{\alpha }_m,{\theta }_m)={\sum }_{m=1}^M{\alpha }_{m}f(x;{\theta }_m)$

其中， x 为输入样本，$f(x;{\theta }_m)$ 为每个基学习器，${\theta }_m$为每个基学习器的参数，treeBoost论文里面讨论的基学习器都是CART回归树。Boost是"提升"的意思，一般Boosting算法都是一个迭代的过程，每一次新的训练都是为了改进上一次的结果，这要求每个基学习器的方差足够小（稳定），即足够简单(模型参数足够简单，不会导致过拟合）（weak machine），因为Boosting的迭代过程足以让bias减小，但是不能减小方差。（Bagging的基分类器是偏差小方差大，而boosting的基分类器是偏差大方差小）

Boosting模型是通过最小化损失函数得到最优模型的，这是一个NP难问题，一般通过贪心法在每一步贪心地得到最优的基学习器。可以通过梯度下降的带每个最优基学习器的方向！

过去我们使用的梯度下降都是在参数空间的梯度下降，变量是参数，而Boosting算法是在函数空间的梯度下降。通过不断梯度下降，我们得到很多个基学习器(函数)，将每个阶段得到的基学习器相加得到最终的学习器。直观地说，当前基学习器的训练需要知道所有学习器在每一个样本上的表现都差了多少，然后当前基学习器努力地学习如何将每个样本上差了的部分给补充上来。回忆一下，之前在调模型参数的时候，我们通过梯度下降知道每个参数与下一个可能的loss最小的点都差了多少，根据这个信息去更新参数.

在梯度下降法中，我们可以看出，对于最终的最优解 ${\theta }^{\ast }$，是由初始值${\theta }_0$经过T次迭代之后得到的，这里设${\theta }_0=-\frac{\delta L(\theta )}{\delta {\theta }_0}$ ，则 ${\theta }^{\ast }$为：
$${\theta }^{\ast }=\sum _{t=0}^T{\alpha }_t\ast {\left[-\frac{\delta L(\theta )}{\delta \theta }\right]}_{\theta ={\theta }_{t-1}}={\theta }_{T-1}+{\alpha }_T{\left[-\frac{\delta L(\theta )}{\delta \theta }\right]}_{\theta ={\theta }_{T-1}}$$

其中， ${\left[-\frac{\delta L(\theta )}{\delta \theta }\right]}_{\theta ={\theta }_{t-1}}$ 表示 $\theta$ 在 $\theta -1$ 处泰勒展开式的一阶导数。

在函数空间中，我们也可以借鉴梯度下降的思想，进行最优函数的搜索。对于模型的损失函数 $L(y,F(x))$ ，为了能够求解出最优的函数 $F^{\ast }(x)$ ，首先设置初始值为： $F_0(x)=f_0(x)$

以函数 F(x)作为一个整体，与梯度下降法的更新过程一致，假设经过T次迭代得到最优的函数$F^{\ast }(x)$ 为：
$$F^{\ast }(x)=\sum _{t=0}^T{f}_t(x)=F_{T-1}(x)+f_T(x)$$

其中， $f_T(x)$ 为:
$$f_t(x)=-{\alpha }_t{g}_T(x)=-{\alpha }_T\ast {\left[\frac{\delta L(y,F(x))}{\delta F(x)}\right]}_{F(x)=F_{T-1}(x)}$$

总结：Gradient Boosting算法在每一轮迭代中，首先计算出当前模型在所有样本上的负梯度，然后以该值为目标训练一个新的弱分类器进行拟合并计算出该弱分类器的权重，最终实现对模型的更新。

注意：决策树是启发式算法，因为它通过递归地进行特征选择和判定，以达到最终的决策结果。在每个节点上，它选择最能区分数据的特征进行分割，通过对数据集的分层判断，最终形成一个树状结构。

函数空间

定义：对于每一个特征x，都有一个函数数值F(x)与之对应，函数空间的指标就是这些函数数值F(x)，因此函数空间有无数个坐标，但是在训练过程，一般只有有限个训练样本（x），因此函数空间的维度也是有限的 ${F(x_i)}_1^N$ 。

在函数空间里面做gradient descent，相当求出函数在每个样本函数值方向上的梯度，即：$g_m(x_i)=-[\frac{\partial L(y_i,F(x_i))}{\partial F(x_i)}{]}_{F(x)=F_{m-1}(x)}$；

但是，这个负梯度只是定义在有限的训练样本支撑起的函数空间里面，如果泛化到其他的数据点呢， 这个基学习器在训练样本上的取值尽可能拟合负梯度，以AdaBoost为例，负梯度为：

$g_m(x_i)=-[\frac{\partial L(y_i,F(x_i))}{\partial F(x_i)}{]}_{F(x)=F_{m-1}(x)}=y_i{e}^{-y_i{F}_{m-1}(x{)}_i}$

其中**$e^{-y_i{F}_{m-1}(x_i)}$可以理解为样本的权重**，如果样本在之前几轮的分类都正确，即$y_i=F_{m-1}(x_i)=1(or-1)$,则$e^{-y_i{F}_{m-1}(x_i)}$会比较小；反之，权重（$e^{-y_i{F}_{m-1}(x_i)}$，上一轮迭代计算得到的系数）很大，本轮的基学习器需要在这个样本上得到较大的数值才能把这个样本从错误的泥潭拉回来。要是基学习器（$f_m(X)$）拟合好负梯度==（即$f_m(X)\bullet g_m(X)$)==，即要求基学习器在各个样本上的函数值(这里写成了向量X形式）与负梯度的点积最大，即：

$max{\sum }_{i=1}^N{f}_m(x_i)y_i{e}^{-y_i{F}_{m-1}(x_i)}=min{\sum }_i^{N}I(h_t(x_i)\ne y_i)e^{-y_i{F}_{m-1}(x_i)}$

分析：

• 等号左边：因为要满足基学习器拟合负梯度，也就是让基分类器的结果去靠近负梯度，而左边的式子可以写成点积形式$f_m(X)\bullet y^T{e}^{y^T\bullet F_{m-1}(X)},其中X=（x_1,...,x_n),y=(y_1,...,y_n)$,此时好的拟合效果就是保证点积左右的向量最好是同向，也就是保证点积式子max
• 而左边的式子其实可以分为$h_t(x_i)=y_i$和$h_t(x_i)\ne y_i$,要保证左边式子最大化，也就是最小化$h_t(x_i)\ne y_i$（这个在${\sum }_{i=1}^N{h}_t(x_i)y_i{e}^{-y_i{F}_{m-1}(x_i)}$占比最大）

求出负梯度的目的是为给下一个基学习器的学习指明方向，下一个基学习器的学习目标就是拟合这些负梯度（重点关注负梯度比较大的样本）。如果loss在某个样本函数值上的负梯度大于0(则说明y=1)，也说明在下一个基学习器应该增加在这个样本上的函数值（[负梯度>0] => [Cost关于F(x)的梯度<0] => [满足$e^{-x}$单调性] => [$y_i{F}_{m-1}(x_i)$向x正半轴移动（y=1）] 。

对梯度提升算法的若干思考

1. 梯度提升与梯度下降的区别和联系是什么？

可以发现，两者都是在每一轮迭代中，都是利用损失函数相对于模型的负梯度方向的信息来对当前模型进行更新，只不过在梯度下降中，模型是以参数化形式表示，从而模型的更新等价于参数的更新。而在梯度提升中，模型并不需要进行参数化表示，而是直接定义在函数空间中，从而大大扩展了可以使用的模型种类。

2. 梯度提升和提升树算法的区别和联系？

当损失函数是平方误差损失函数和指数损失函数时，每一步优化是很简单的。但对一般损失函数而言，往往每一步优化并不那么容易。针对这一问题，Freidman提出了梯度提升（gradient boosting）算法。这是利用损失函数的负梯度在当前模型的值$-{\left[\frac{\delta L(y,F(x))}{\delta F(x)}\right]}_{F(x)=F_{t-1}(x)}$ 作为提升树算法中残差的近似值，拟合一个梯度提升模型。

3. 对于一般损失函数而言，为什么可以利用损失函数的负梯度在当前模型的值作为梯度提升算法中残差的近似值呢？

我们观察到在提升树算法中，残差 $y-F(x)$ 是损失函数 $\frac{1}{2}(y-F(x){)}^2$的负梯度方向，因此可以将其推广到其他不是平方误差(分类或是排序问题)的损失函数。也就是说，梯度提升算法是一种梯度下降算法，不同之处在于更改损失函数和求其负梯度就能将其推广。即:可以将结论推广为对于一般损失函数也可以利用损失函数的负梯度近似拟合残差。

损失函数

主要是要采用一种贪心的策略，找到使得loss最小的基学习器作为当前的基学习器：

loss function: $argmi{n}_{\alpha ,\theta }={\sum }_{i=1}^{N}L(y_i,F_{m-1}(x_i)+\alpha f_m(x_i;\theta ))$

其中：$\theta$ 是第m轮的基学习器的参数， $\alpha$ 是学习的步长

探究loss function 与拟合负梯度的联系(从三个方面）：

• 理解层面：负梯度的方向是loss下降的最快的方向，因此拟合好负梯度其实等价于让loss下降的最多

• 一阶泰勒展开

  因为boosting的目标是让$L(y_i,F_m(x_i))\le L(y_i,F_{m-1}(x_i)),而L(y_i,F_m(x_i))=L(y_i,F_{m-1}(x_i)+\alpha f_m(x_i;\theta ))$,所以$L(y_i,F_m(x_i))-L(y_i,F_{m-1}(x_i))=L(y_i,\alpha f_m(x_i;\theta ))$（满足L（a, b+c) = L(a, b) + L(a, c)）；（因为对于交叉熵损失函数无法满足L（a, b+c) = L(a, b) + L(a, c)）；

  

  因为
  $$\begin{gathered} \sum _{i=1}^{N}L(y_i,F_{m-1}(x_i)+\alpha f_m(x_i;\theta ))\approx \sum _{i=1}^{N}L(y_i,F_{m-1}(x_i))+\sum _{i=1}^N\frac{\partial L(y,F(x))}{\partial F(x)}{|}_{F(x)=F_{m-1}(x_i)}\alpha f_m(x_i;\theta ) \\ \sum _{i=1}^{N}L(y_i,F_{m-1}(x_i)+\alpha f_m(x_i;\theta ))-\sum _{i=1}^{N}L(y_i,F_{m-1}(x_i))\approx \sum _{i=1}^N\frac{\partial L(y_i,F(x_i))}{\partial F(x_i)}{|}_{F(x_i)=F_{m-1}(x_i)}\alpha f_m(x_i;\theta ) \\ (不等号右边可以看成两个向量的内积：\frac{\partial L(y,F(X))}{\partial F(X)}和\alpha f_m(X),其中X=(x_1,x_2,...,x_n{)}^T,y=(y_1,y_2,...,y_n{)}^T \\ 当\alpha f_m(x_i;\theta )=-\sum _{i=1}^N\frac{\partial L(y_i,F(x))}{\partial F(x)}{|}_{F(x)=F_{m-1}(x_i)}（梯度的负方向是局部下降最快的方向）时， \\ \sum _{i=1}^{N}L(y_i,F_{m-1}(x_i)+\alpha f_m(x_i;\theta ))-\sum _{i=1}^{N}L(y_i,F_{m-1}(x_i))\le 0 \end{gathered}$$
  在GBDT中，会令$r_{x_i,y_i}=r_{mi}=-\frac{\partial L(y_i,F(x))}{\partial F(x)}{|}_{F(x)=F_{m-1}(x_i)}$

总结GBDT的整体流程：

1. 计算当前损失函数的负梯度表达式（训练样本的权值或概率分布）；
2. 构造训练样本将$(x_i,y_i)$带入$r_m(x,y)$可得到$r_{mi}$,进而得到第m轮的训练样本为$T_m=(x_1,r_{m1}),...,(x_N,r_{mN})$
3. 让当前基学习器去拟合上述训练样本得到$\alpha f_m(x_i,\theta )$

伪代码：

注：

• 首先初始化第0个基学习器 $F_0(x)=argmi{n}_c{\sum }_{i=1}^{N}L(y_i,c)$，即对于每一个x，第0个基学习器是使得当前loss最小的一个数值，第4行计算当前基学习器参数的时候，用了平方误差衡量基学习器与负梯度的拟合程度，实际应该根据问题选择相应的loss

• 探究算法的第1步$F_0(\mathbf{x})=\arg {\min }_{\rho }{\sum }_{i=1}^{N}L\left(y_i,\rho \right)$

  • 当损失函数为均方误差时，$F_0(x)=\bar{y}(样本真实值的平均值)$

  • 当损失函数为MAE时，$F_0(x)=media{n}_y(样本真实值的中位数)$

    $MAE=\frac{1}{m}{\sum }_{i=1}^m\mid c-y_i\mid$,$gradientofMAE=\frac{1}{m}{\sum }_{i=1}^{m}sign(c-y_i)=0$,也就是说，对于所有的样本真实值 { y i } 1 N \left \{y_i\right \}_1^N {yi​}1N​,要满足$c>y_i和c<y_i$一样多，只能是c为中位数。（如果样本x在样本中的label取值为2, 4, 6，9，那么在 MAE 下训练的模型预估值应该是中位数5）

  • 当损失函数为logistic loss时， ${\mathrm{F}}_0(\mathrm{x})=\left(\frac{1}{2}\right)\ast \log \left(\frac{\sum {\mathrm{y}}_{\mathrm{i}}}{\sum \left(1-{\mathrm{y}}_{\mathrm{i}}\right)}\right)$

    

  • 当损失函数为指数函数$\mathrm{L}\left({\mathrm{y}}_{\mathrm{i}},\mathrm{F}\left({\mathrm{x}}_{\mathrm{i}}\right)\right)={\mathrm{e}}^{-{\mathrm{y}}_{\mathrm{i}}F\left({\mathrm{x}}_{\mathrm{i}}\right)},F_0(x)=\frac{1}{2}log\frac{{\sum }_{i=1}^{N}I(y_i=1)}{{\sum }_{i=1}^{N}I(y_i=-1)}$

    

• 探究算法的第3步${\tilde{\mathrm{y}}}_{\mathrm{i}}=-{\left[\frac{\partial \mathrm{L}\left({\mathrm{y}}_{\mathrm{i}},\mathrm{F}\left({\mathrm{x}}_{\mathrm{i}}\right)\right)}{\partial \mathrm{F}\left({\mathrm{x}}_{\mathrm{i}}\right)}\right]}_{\mathrm{F}(\mathrm{x})={\mathrm{F}}_{\mathrm{m}-1}(\mathrm{x})}$

• 当损失函数采用$L(y_i,F(x_i))=\frac{1}{2}(y_i-F(x_i){)}^2$,那么负梯度为$y_i-F(x_i)$,将$F(x_i)=F_{m-1}(x_i)$带入结果得到$y_i-F_{m-1}(x_i)$

• 当损失函数采用$L(y_i,F(x_i))=|y_i-F(x_i)|$,那么其负梯度为

• 当损失函数次啊用logistic loss时（二分类任务）$\mathrm{L}\left({\mathrm{y}}_{\mathrm{i}},\mathrm{F}\left({\mathrm{x}}_{\mathrm{i}}\right)\right)={\mathrm{y}}_{\mathrm{i}}\log \left({\mathrm{p}}_{\mathrm{i}}\right)+\left(1-{\mathrm{y}}_{\mathrm{i}}\right)\log \left(1-{\mathrm{p}}_{\mathrm{i}}\right)$

  则负梯度为

  

即：

• 损失函数$L(x,y)$ ：用以衡量模型预测结果与真实结果的差异

• 弱评估器$f(x)$ ：（一般为）决策树，不同的boosting算法使用不同的建树过程

• 综合集成结果$H(x)$：即集成算法具体如何输出集成结果

​ 二阶泰勒展开

注：在分析$f_m(x_i)$时可以将${\alpha }_m$视为常数，也是将$\sqrt{{\alpha }_m}{h}_m(x_i)$合并成一个新的constant，同时将${\alpha }_m^2{h}_m(x_i)$也视为新的constant

回归树

采用树模型作为GBDT基学习器的优点是：

1. 可解释性强；

2. 可处理混合类型特征（既有连续型特征也有类别型特征） ；

3. 具体伸缩不变性（不用归一化特征）；

4. 有特征组合的作用；

5. 可自然地处理缺失值；

   ​ 基于特征的划分： 决策树的构建是基于特征的划分的，每次选择一个特征来划分数据集。当在某个节点遇到缺失值时，树模型会考虑所有其他可用的特征进行划分。这种基于特征的划分使得树模型在训练和预测时能够灵活地处理缺失值。

   ​ 不依赖线性关系： 决策树不依赖线性关系，而是通过树状结构递归地划分数据。对于每个节点，决策树都会选择最佳的划分方式，而当前节点的缺失值只会影响到当前节点的数据流向，并不会影响到其他节点的建立。（决策树能够根据数据的特征划分来构建决策树。这意味着，即使输入数据具有复杂的非线性关系，决策树也能够通过分层决策来模拟这种关系，从而实现对数据的分类。因为能处理分类变量和连续型变量，适合处理非线性的关系）

   详细解释决策树可以处理非线性关系

   1. 分层划分： 决策树的核心思想是通过递归地选择最佳的特征和划分点，将数据集划分成不同的子集。每个划分代表了对输入空间的一个非线性划分。这种分层的划分方式使得决策树能够适应复杂的、非线性的数据结构。
   2. 多特征组合： 在决策树的每个节点上，模型可以同时考虑多个特征的组合**(x1<5且x7<8，特征中除了连续变量还有离散变量)**来进行划分。这允许决策树捕捉到输入特征之间的复杂交互关系，这些交互关系可以构成非线性关系。
   3. 递归特征选择： 决策树通过递归地选择最佳的特征和划分点，每次都在当前节点中选择对目标变量影响最大的特征**（适应数据的复杂结构）**。这种逐步的特征选择过程允许决策树在每个节点上根据目标变量的非线性关系进行选择，从而逐渐构建非线性模型。
   4. 不依赖线性关系： 决策树不对特征之间的关系做出线性假设**(由于决策树的贪心特征，使得不需要对特征之间进行多重共线性检验）**。每个节点的划分依赖于数据在当前节点上的分布，而不受到线性关系的限制。这使得决策树能够更灵活地适应各种非线性模式。
   5. 非参数化结构： 决策树是一种非参数化模型，不对数据的分布形式进行假设。这意味着决策树对于复杂的、非线性的数据结构没有先验假设，可以根据数据的实际情况进行拟合。

6. 对异常点（异常值只占数据集的一小部分）鲁棒；（由于异常值的存在不太可能导致整个分割过程的变化，再基于多数投票原则，树模型在选择分割点时相对稳健。）

7. 有特征选择作用；（基尼系数或者entropy）

8. 可扩展性强；（可以处理不同规模的数据集；处理高维特征；处理非线性关系）

9. 容易并行。（随机森林就是基于这个建立的）

缺点是：

1、 缺乏平滑性（回归预测时输出值只能输出有限的若干种数值，对于连续特征的划分一般是x<c, x>=c，对多棵树的输出结果【同一棵树对于新的样本每次判断结果都一样（叶子节点的均值），则最后这棵树的输出结果也是一样的】进行加权求和）

2、不适合处理高维稀疏数据（找到有效的分割点变得更加困难；当样本量相对于特征数较少时，树模型在高维稀疏数据上容易捕捉到噪声而不是信号）。

CART决策树(用于分类任务时，树的分裂准则采用基尼指数，用于回归任务时，用MSE、MAE和Friedman_mse【改进型的mse】)实际上是将空间用超平面进行划分的一种方法，每次分割的时候，都将当前的空间一分为二， 这样使得每一个叶子节点都是在空间中的一个不相交的区域，在进行决策的时候，会根据输入样本每一维feature的值，一步一步往下，最后使得样本落入N个区域中的一个（假设有N个叶子节点）。

回归树的参数主要有两个，一个叶子节点对应的区域（如何划分特征），另一个是叶子节点的取值（图中的The Height in each segment），其intuition就是使得划到特征空间每个区域的样本的方差足够小，足以用一个数值来代表，因此每个节点的分裂标准是划分到左右子树之后能不能是样本方差变小，即回归树使用方差衡量样本“纯度”（波动性），而分类树采用Gini系数或者熵来衡量样本纯不纯

回归树的例子如下图所示：

注意：timeline从左到右分别是2010/03/20，2011/03/01；my rate over love songs(对歌曲的喜爱程度)从下到上分别是0.2， 1.0， 1.2

回归树的表示方式： f ( x ; { b j , R j } ) = ∑ j = 1 J b j I ( x ∈ R j ) ( J 表示叶子节点个数 ) f(x;\left \{b_{j}, R_{j} \right \})=\sum_{j=1}^{J}b_jI(x \in R_{j})(J表示叶子节点个数) f(x;{bj​,Rj​})=∑j=1J​bj​I(x∈Rj​)(J表示叶子节点个数)

则对应于加法模型的GBDT的m轮迭代的结果是：

$F_m(x)=F_{m-1}(x)+{\alpha }_m{\sum }_{j=1}^J{b}_{jm}I(x\in R_{jm})={\sum }_{k=1}^{M}T(x;{\theta }_k)$

注意：加号后面的式子对应于上面的 f ( x ; { b j , R j } ) f(x;\left \{b_{j}, R_{j} \right \}) f(x;{bj​,Rj​}),因此可令${\gamma }_{jm}={\alpha }_m{b}_{jm},则GBDT的m轮迭代结果可以写成$$F_m(x)=F_{m-1}(x)+{\sum }_{j=1}^J{\gamma }_{jm}I(x\in R_{jm})$(此时的参数只有一个：${\gamma }_{jm}$,原本只有两个参数：${\alpha }_m和b_{jm}(I(x\in R_{jm}由b_{jm}来决定))$

gbdt 无论用于分类还是回归一直都是使用的CART 回归树。这是因为gbdt 每轮的训练是在上一轮的训练的残差基础之上进行训练的。这里的残差就是当前模型的负梯度值 。这个要求每轮迭代的时候，弱分类器的输出的结果相减是有意义的。GBDT的核心就在于，每一棵树学的是之前所有树结论和的残差，这个残差就是一个加预测值后能得真实值的累加量。比如A的真实年龄是18岁，但第一棵树的预测年龄是12岁，差了6岁，即残差为6岁。那么在第二棵树里我们把A的年龄设为6岁去学习，如果第二棵树真的能把A分到6岁的叶子节点，那累加两棵树的结论就是A的真实年龄。

GBDT用于回归

• 对于回归问题，损失函数一般采用均方误差损失函数，即$Cost={\sum }_{i=1}^N{\left[y_i-F_{m-1}\left(x_i\right)-{\sum }_{j=1}^J{\gamma }_{jm}I\left(x_i\in R_{jm}\right)\right]}^2$,因为$r_{mi}=y_i-F_{m-1}(x_i)$,所以$Cost={\sum }_{i=1}^N{\left[r_{mi}-{\sum }_{j=1}^J{\gamma }_{jm}I\left(x_i\in R_{jm}\right)\right]}^2(变量只有{\gamma }_{jm})$，

${\gamma }_{jm}={\mathrm{argmin}}_{{\gamma }_m}{\sum }_{i=1}^N{\left[r_{mi}-{\sum }_{j=1}^J{\gamma }_{jm}1\left(x_i\in R_{jm}\right)\right]}^2,其中r_{mi}=-\frac{\partial L(y_i,F(x))}{\partial F(x)}{|}_{F(x)=F_{m-1}(x_i)}，其中L(y_i,F(x))=\frac{1}{2}(y_i-F(x){)}^2$

结论：${\gamma }_{jm}=$ average ${}_{x_i\in R_{jm}}{r}_{mi}$

例子

训练集：（A, 14岁）、（B，16岁）、（C, 24岁）、（D, 26岁）；
训练数据的均值：20岁； （这个很重要，因为GBDT与i开始需要设置预测的均值，即第0个基学习器，这样后面才会有残差！）
决策树的个数：2棵；
开始GBDT学习了~
首先，输入初值20岁，根据第一个特征（具体选择哪些特征可以根据信息增益来计算选择），可以把4个样本分成两类，一类是购物金额<=1K，一类是>=1K的。假如这个时候我们就停止了第一棵树的学习，这时我们就可以统计一下每个叶子中包含哪些样本，这些样本的均值是多少，因为这个时候的均值就要作为所有被分到这个叶子的样本的预测值了。比如AB被分到左叶子，CD被分到右叶子，那么预测的结果就是：AB都是15岁，CD都是25岁。和他们的实际值一看，结果发现出现的残差，ABCD的残差分别是-1, 1, -1, 1。这个残差，我们要作为后面第二棵决策树的学习样本。

然后学习第二棵决策树，我们把第一棵的残差样本（A, -1岁）、（B，1岁）、（C, -1岁）、（D, 1岁）输入。此时我们选择的特征是经常去百度提问还是回答。这个时候我们又可以得到两部分，一部分是AC组成了左叶子，另一部分是BD组成的右叶子。那么，经过计算可知左叶子均值为-1，右叶子均值为1. 那么第二棵数的预测结果就是AC都是-1，BD都是1. 我们再来计算一下此时的残差，发现ABCD的残差都是0！停止学习~

这样，我们的两棵决策树就都学习好了。进入测试环节：
测试样本：请预测一个购物金额为3k，经常去百度问淘宝相关问题的女生的年龄~
我们提取2个特征：购物金额3k，经常去百度上面问问题；
第一棵树 —> 购物金额大于1k —> 右叶子，初步说明这个女生25岁
第二棵树 —> 经常去百度提问 —> 左叶子，说明这个女生的残差为-1；
叠加前面每棵树得到的结果：25-1=24岁，最终预测结果为24岁

• 当损失函数为MAE时，则${\gamma }_{jm}=media{n}_{x_i\in R_{jm}}{r}_{mi}$ 为梯度值。

例子：

$x_i$	1	2	3	4	5	6	7	8	9	10
$y_i$	5.56	5.7	5.91	6.4	6.8	7.05	8.9	8.7	9.	9.05

前提：

• 选择MSE做为建树的分裂准则
• 选择MSE作为误差函数
• 树的深度设置为1

算法：

1. 我们需要初始化$F_0(x)$，因此$F_0(x)=\frac{1}{10}{\sum }_{i=1}^{10}{r}_{mi}=7.307$;

2. 拟合第一棵树,
   $$r_{mi}=-{\left[\frac{\partial L(y_i,F(\mathbf{x}i))}{\partial F(\mathbf{x}i)}\right]}_{F(x)=F_0(x)}=(y_i-F_0(x_i))$$,
   用 { x i , r 0 i } 1 10 \left \{x_i, r_{0i} \right \}_1^{10} {xi​,r0i​}110​来建树

   $x_i$	1	2	3	4	5	6	7	8	9	10
   $r_{0i}$	-1.747	-1.607	-1.397	-0.907	-0.507	-0.257	1.593	1.393	1.693	1.743

   分析:

   $$\begin{gathered} 当选择x_i\le 1和x_i>1作为分割点是，mea{n}_{left}=-1.747,MS{E}_{left}=[-1.747-(-1.737){]}^2=0; \\ mea{n}_{right}=\frac{1}{9}{\sum }_{i=2}^{10}{x}_i\approx 0.19411,MS{E}_{right}=\frac{1}{9}{\sum }_{i=2}^{10}(x_i-mean{)}^2\approx 1.747; \end{gathered}$$

   $$\begin{gathered} 当选择x_i\le 2和x_i>2作为分割点是，mea{n}_{left}=\frac{1}{2}{\sum }_{i=1}^2{x}_i=-1.677,MS{E}_{left}=\frac{1}{2}{\sum }_{i=1}^2(x_i-mea{n}_{left}{)}^2=0.419; \\ mea{n}_{right}=\frac{1}{8}{\sum }_{i=3}^{10}{x}_i\approx 0.19411,MS{E}_{right}=\frac{1}{8}{\sum }_{i=2}^{10}(x_i-mean{)}^2\approx 1.509; \end{gathered}$$

   依次，穷尽所有取值。
   可以得到当选择6 66作为分裂点时$MS{E}_{sum}=0.3276$最小。

   

   至此，我们完成了第一颗树的拟合，拟合完之后我们得到了$R_{jm}$以及$\gamma jm$:

   • $R_{11}:x_i\le 6;R_{21}:x_i>6$

   • $$\begin{array}{rl}& {\gamma }_{11}=\frac{r_{01}+r_{02}+r_{03}+r_{04}+r_{05}+r_{06}}{6}=-1.0703\\ & {\gamma }_{21}=\frac{r_{07}+r_{08}+r_{09}+r_{0,10}}{4}=1.6055\end{array}$$

     最后更新 ${\mathrm{F}}_1\left({\mathrm{x}}_{\mathrm{i}}\right)$ 值， ${\mathrm{F}}_1\left({\mathrm{x}}_{\mathrm{i}}\right)={\mathrm{F}}_0\left({\mathrm{x}}_{\mathrm{i}}\right)+{\sum }_{\mathrm{j}=1}^2{\gamma }_{\mathrm{j}1}\mathrm{I}\left({\mathrm{x}}_{\mathrm{i}}\in {\mathrm{R}}_{\mathrm{j}1}\right)$ 。
     比如更新其中一个样本 $x_1$ 的值:
     $$\begin{gathered} {\mathrm{F}}_1\left({\mathrm{x}}_1\right)={\mathrm{F}}_0\left({\mathrm{x}}_1\right)+\eta \ast \sum _{\mathrm{j}=1}^2{\gamma }_{\mathrm{j}1}\mathrm{I}\left({\mathrm{x}}_1\in {\mathrm{R}}_{\mathrm{j}1}\right) \\ =7.307-0.1\ast 1.0703=7.19997(\eta 表示learningrate=0.1) \end{gathered}$$

3. 拟合第二颗树（m = 2)

$ \gamma_{11}=-\left[\frac{\partial L(y_i,F(\mathbf{x}i))}{\partial F(\mathbf{x}i)}\right]{{F(x)=F{m-1}(x)}}=(y_1-F_{1}(x_1))=(5.56-7.19997)=-1.63997$

$x_i$	1	2	3	4	5	6	7	8	9	10
$r_{1i}$	-1.63997	-1.49997	-1.28997	-0.79997	-0.39997	-0.14997	1.43245	1.23245	1.53245	1.58245

得到两个叶子节点的值：${\gamma }_{12}=-0.9633,{\gamma }_{22}=1.44495$

​ 伪代码

注意：重点关注2-c，可以理解为训练集训练完决策树模型叶子节点的均值（每一棵树只有一个输出值，根据测试样本进入决策树过后判定的递归顺序得到的结果）