GBDT模型-科学推导

1. GBDT简介

建议看这个之前，先看看这个通俗易懂版本的GBDT。

1.1 与随机森林的区别

随机森林中的决策树时分别采样建立的，相对独立，最后的结果由所有弱学习器投票决定。类似于并联结构
GBDT模型中，后一个模型受限于前面模型的结果，类似于串联结构

1.2 应用

GBDT可应用于回归和分类问题，每一步产生一个弱学习器，并且加权累加到总的模型中，如果每一步的弱学习器都是根据损失函数的梯度方向生成的，那么成为梯度提升（Gradient Boosting）

1.3 基本思路

首先给定一个目标损失函数，它的定义域是所有可行的弱学习器的集合，提升算法通过迭代的选择一个负梯度方向上的奇函数来逐渐逼近局部极小值。

1.4 理论依据

如果一个问题存在弱学习器，则可以通过提升的方法得到强学习器。

---

2. GBDT公式推导

假设输入数据为 D = { ( x 1 , y 1 ) , x 2 , y 2 ) , . . . , ( x n , y n ) } D=\{(\boldsymbol{x_1}, y_1), \boldsymbol{x_2}, y_2),..., (\boldsymbol{x_n}, y_n)\} D={(x1​,y1​),x2​,y2​),...,(xn​,yn​)}，其中第$i$条数据表示为$({\mathbf{x}}_{\mathbf{i}},y_i)$，每条数据共有$d$维特征。模型在所有数据上的损失函数记为$L(y,F(\mathbf{x}))$。

2.1 目标

找到一个近似函数$\hat{F}(\mathbf{x})$，使得损失函数$L(y,F(\mathbf{x}))$最小。
假定$\hat{F}(\mathbf{x})$是一组若学习器共有M个$f_m(\mathbf{x})$的加权和（${\gamma }_m$为第$m$个弱学习器的权值）：
$$\hat{F}(\mathbf{x})=\sum _{m=1}^M{\gamma }_m{f}_m(\mathbf{x})+const\text{\hspace{1em}(2.1)}$$

2.2 初始化

首先给定常函数$F_0(\mathbf{x})$
$$F_0(\mathbf{x})=\underset{\gamma }{\mathrm{argmin}}\sum _{i=1}^{n}L(y_i,\gamma )\text{\hspace{1em}(2.2)}$$
在公式(2.2)中，首先找一个常数，记为$\gamma$，能够使得损失函数值最小。这个常数依据不同的损失函数有不同的取值方法：

1. 如果损失函数为$L(y_i,\gamma )={\sum }_{i=1}^n\frac{1}{2}(y_i-\gamma {)}^2$，则当$\gamma =\overline{y}$，时有最小值（对$\gamma$求导令其为0即可）。
2. 如果损失函数为$L(y_i,\gamma )={\sum }_{i=1}^n|y_i-\gamma |$，则当$\gamma$取所有$y$值的中位数即可）。
   

2.2.1 初始化之后考虑的事

假定经过$m-1$迭代之后的模型为：$F_{m-1}(\mathbf{x})$，则第$m$次模型为：
$$\hat{F}(\mathbf{x})=F_{m-1}(\mathbf{x})+\underset{f_m}{\mathrm{argmin}}\sum _{i=1}^{n}L(y_i,F_{m-1}({\mathbf{x}}_{\mathbf{i}})+{\hat{f}}_m({\mathbf{x}}_{\mathbf{i}}))\text{\hspace{1em}(2.3)}$$

针对第$m$个弱学习器而言，将训练集代入弱学习器模型${\hat{f}}_m(\mathbf{x})$中可以得到$n$个结果，现在要确定生成的第$m$个弱分类器满足一个条件，那就是能够使得该模型对应的$n$个误差：$[L(y_1,{\hat{f}}_m({\mathbf{x}}_1)),L(y_2,{\hat{f}}_m({\mathbf{x}}_2)),...,L(y_n,{\hat{f}}_m({\mathbf{x}}_{\mathbf{n}}))]$最小。

问题来了：

因为${\sum }_{i=1}^{n}L(y_i,F_{m-1}({\mathbf{x}}_{\mathbf{i}})+{\hat{f}}_m({\mathbf{x}}_{\mathbf{i}}))$的最小很难直接求，所以，利用梯度下降的方法逼近其最小值。

换句话说：就是第$m$个分类器可能有无数种参数，分别记为$f_{m_1},f_{m_2}....$，怎么样找到一个最合适的弱分类器呢？一般来说，我们是找不到的，这时候咋办，只能挑一个弱分类器，告诉它怎么才能够变成那个最合适的弱分类器，然后让它慢慢成长。如果它能力有限不能一次变到最好怎么办？没关系，你只要迈出一小步即可，剩下的有人会完成你未尽的事业。（经过无数弱分类器的努力，总能达到那个比较好的程度）

此时，就把问题从找最好转变成了怎么样变成最好?

这个时候，根据梯度的特点：负梯度方向是函数值下降最快的方向。可知，如果先看看$F_{m-1}({\mathbf{x}}_{\mathbf{i}})$往最优点移动了多少后，再做决定是比较合理的。于是，让$L(y_i,F_{m-1}({\mathbf{x}}_{\mathbf{i}}))$对$F_{m-1}({\mathbf{x}}_{\mathbf{i}})$求导的结果加负号，即可知道$F_{m-1}({\mathbf{x}}_{\mathbf{i}})$达成的成就以及方向，剩下的误差，交给其他的弱学习器就好了。

让我们再分解一下函数${\hat{f}}_m({\mathbf{x}}_{\mathbf{n}})$，其实${\hat{f}}_m({\mathbf{x}}_{\mathbf{n}})={\gamma }_m{f}_m({\mathbf{x}}_{\mathbf{n}})$：

1. 对于$f_m({\mathbf{x}}_{\mathbf{n}})$来说，无法找到一个最好的，但是我们能够“造”出一个最合适的弱分类器。
2. 对于${\gamma }_m$来说，在“造出”一个合适的$f_m({\mathbf{x}}_{\mathbf{n}})$之后，通过$\underset{{\gamma }_m}{\mathrm{argmin}}{\sum }_{i=1}^{n}L(y_i,F_{m-1}({\mathbf{x}}_{\mathbf{i}})+{\gamma }_m{f}_m({\mathbf{x}}_{\mathbf{i}}))$找到最合适（小）的${\gamma }_m$即可。

2.3 计算伪残差（pseudo residuals）

相当于前$m-1$个若学习器达成的成就（距离完美程度还差多少）

2.4 训练拟合残差的弱学习器

前$m-1$个弱学习器未完成的事业，交给第$m$个学习器。

使用数据 { ( x 1 , r 1 m ) , ( x 2 , r 2 m ) , . . . , ( x n , r n m ) } \{(\boldsymbol{x_1}, r_{1m}), (\boldsymbol{x_2}, r_{2m}),..., (\boldsymbol{x_n}, r_{nm})\} {(x1​,r1m​),(x2​,r2m​),...,(xn​,rnm​)}训练弱分类器$f_m(\mathbf{x})$，找到弱分类器的最佳参数。

2.5 找一个合适该弱学习器的权重

此时我们找到了$f_m(\mathbf{x})$，但是还有一个问题，就是应该给它分配多大的权重，因此需要考虑能够使
$$\underset{{\gamma }_m}{\mathrm{argmin}}\sum _{i=1}^{n}L(y_i,F_{m-1}({\mathbf{x}}_{\mathbf{i}})+{\gamma }_m{f}_m({\mathbf{x}}_{\mathbf{i}}))$$
最小的${\gamma }_m$。

2.6 更新模型

$$F_m(\mathbf{x})=F_{m-1}(\mathbf{x})+\nu {\gamma }_m{f}_m(\mathbf{x})$$
上式中，$\nu$为学习率。重复上述模型，直到指定次数。

---

3 在回归方面的应用

3.1 初始化

首先给定常函数$F_0(\mathbf{x})$
$$F_0(\mathbf{x})=\underset{\gamma }{\mathrm{argmin}}\sum _{i=1}^{n}L(y_i,\gamma )\text{\hspace{1em}(2.2)}$$
在公式(2.2)中，$F_0(\mathbf{x})$是一个常数，记为$\gamma$，这个常数依据不同的损失函数有不同的取值方法：

1. 如果损失函数为$L(y_i,\gamma )={\sum }_{i=1}^n\frac{1}{2}(y_i-\gamma {)}^2$，则当$\gamma =\overline{y}$，时有最小值（对$\gamma$求导令其为0即可）。
2. 如果损失函数为$L(y_i,\gamma )={\sum }_{i=1}^n|y_i-\gamma |$，则当$\gamma$取所有$y$值的中位数即可）。
   

在回归模型中，采用的损失函数为：
$$L(y_i,\gamma )=\sum _{i=1}^n\frac{1}{2}(y_i-\gamma {)}^2\text{\hspace{1em}(3.1)}$$
取一个能够使得$L(y_i,\gamma )$达到最小的$\gamma$值。于是有：
$$\frac{\partial L}{\partial F}=\sum _i^n(-y_i+\gamma )$$
令其为0则有：
$$\gamma =\frac{1}{n}\sum _i^n{y}_i\text{\hspace{1em}(3.2)}$$
所以，初始化$F_0(\mathbf{x})=\gamma =\frac{1}{n}{\sum }_i^n{y}_i$。

3.2 计算伪残差（pseudo residuals）

相当于前$m-1$个若学习器达成的成就（距离完美程度还差多少）

每个样本的损失函数为$L_i(y_i,F({\mathbf{x}}_{\mathbf{i}}))=\frac{1}{2}(y_i-F({\mathbf{x}}_{\mathbf{i}}){)}^2$，则：
$$\begin{gathered} r_{im}=y_i-F_{m-1}({\mathbf{x}}_{\mathbf{i}}),i=1,2,...,n \\ \text{\hspace{1em}(3.3)} \end{gathered}$$
$r_{im}$表示：前$m$个模型在第$i$个样本上的表现（与完美程度的差距）。

3.3 训练拟合残差的弱学习器

使用数据 { ( x 1 , r 1 m ) , ( x 2 , r 2 m ) , . . . , ( x n , r n m ) } \{(\boldsymbol{x_1}, r_{1m}), (\boldsymbol{x_2}, r_{2m}),..., (\boldsymbol{x_n}, r_{nm})\} {(x1​,r1m​),(x2​,r2m​),...,(xn​,rnm​)}训练弱分类器$f_m(\mathbf{x})$，找到弱分类器的最佳参数。

3.4 找一个合适该弱学习器的权重

此时我们找到了$f_m(\mathbf{x})$，但是还有一个问题，就是应该给它分配多大的权重，因此需要考虑能够使
$$\underset{{\gamma }_m}{\mathrm{argmin}}\sum _{i=1}^{n}L(y_i,F_{m-1}({\mathbf{x}}_{\mathbf{i}})+{\gamma }_m{f}_m({\mathbf{x}}_{\mathbf{i}}))$$
最小的${\gamma }_m$

对于普通的回归模型：
$$\begin{array}{rl}{\gamma }_m=& \underset{\gamma }{\mathrm{argmin}}\sum _{x_i\in D}\frac{1}{2}(y_i-F_{m-1}({\mathbf{x}}_{\mathbf{i}})+\gamma {)}^2\\ 0=& \frac{\partial {\gamma }_m}{\partial \gamma }=\sum _{x_i\in D}{y}_i-F_{m-1}({\mathbf{x}}_{\mathbf{i}})+\gamma \\ \gamma =& \frac{1}{n}\sum _{x_i\in D}{F}_{m-1}({\mathbf{x}}_{\mathbf{i}})-y_i\end{array}\text{\hspace{1em}(3.4)}$$
但是在回归树中，由于其模型特点：不同的叶子结点可以看做是不同的回归方程，所以，其对最小值的寻找范围并非在整个数据集上，而是在当前输出的叶子节点上，因此，不同的叶子节点有不同的权重，假定这样的叶子结点共有$J$个，则有：
$$\begin{array}{rl}{\gamma }_{Jm}=& \underset{\gamma }{\mathrm{argmin}}\sum _{x_i,y_i\in D_{Jm}}\frac{1}{2}(y_i-F_{m-1}({\mathbf{x}}_{\mathbf{i}})+\gamma {)}^2\\ 0=& \frac{\partial {\gamma }_{Jm}}{\partial \gamma }=\sum _{x_i,y_i\in D_{Jm}}{y}_i-F_{m-1}({\mathbf{x}}_{\mathbf{i}})+\gamma \\ {\gamma }_{Jm}=& \frac{1}{n_{D_{Jm}}}\sum _{x_i,y_i\in D_{Jm}}{F}_{m-1}({\mathbf{x}}_{\mathbf{i}})-y_i\end{array}\text{\hspace{1em}(3.5)}$$
$n_{D_{Jm}}$表示：经过前$m$个模型后，聚集在第$J$个叶子上的样本数据的个数。
${\gamma }_{Jm}$表示：经过前$m$个模型后，聚集在第$J$个叶子上的最佳权重。
$\gamma$表示：经过前$m$个模型后，聚集在第$J$个叶子上的权重，不一定是最佳的。

3.5 更新模型

$$F_m(\mathbf{x})=F_{m-1}(\mathbf{x})+\nu {\gamma }_m{f}_m(\mathbf{x})$$
上式中，$\nu$为学习率。
重复上述模型，直到指定次数。

在回归树中，$f_m(\mathbf{x})$则变成了indication function，即

函数$I$的含义为：
$$I({\mathbf{x}}_{\mathbf{i}})=\{\begin{array}{ccc}1& if:i=j& \\ 0& other:i\ne j& \end{array}$$
对于所有的叶子节点而言，如果${\mathbf{x}}_{\mathbf{i}}$不属于该叶子节点，则$I({\mathbf{x}}_{\mathbf{i}})=0$，否则为1。

---

4 在二分类方面的应用

4.1 初始化

采用的损失函数为：
$$L_i(y_i,F({\mathbf{x}}_{\mathbf{i}}))=-y_i\ast F({\mathbf{x}}_{\mathbf{i}})+\ln (1+\exp (F({\mathbf{x}}_{\mathbf{i}})))\text{\hspace{1em}(4.1)}$$
其中
$$F(x)=\ln (\frac{p}{1-p})$$

公式(4.1)的来源，见注脚。¹
对函数$F({\mathbf{x}}_{\mathbf{i}})$求导：
$$\begin{array}{rl}\frac{\partial L_i}{\partial F({\mathbf{x}}_{\mathbf{i}})}=& -y_i+\frac{\exp (F({\mathbf{x}}_{\mathbf{i}}))}{1+\exp (F({\mathbf{x}}_{\mathbf{i}}))}\\ =& -y_i+p\end{array}\text{\hspace{1em}(4.2)}$$
即
$$p=\frac{\exp (F({\mathbf{x}}_{\mathbf{i}}))}{1+\exp (F({\mathbf{x}}_{\mathbf{i}}))}\text{\hspace{1em}(4.3)}$$

但是，由于数据是离散型数据，不同类之间没有可加性，因此，当$p$取某类数据的概率时，能够使损失函数最小。

也就是说，能使得$L_i(y_i,F({\mathbf{x}}_{\mathbf{i}}))$最小的表达方式有两种：
$$p=\frac{1}{n}\sum _{i=1}^n{y}_i\text{\hspace{1em}(4.4-1)}$$
$$y_i=\frac{\exp (F({\mathbf{x}}_{\mathbf{i}}))}{1+\exp (F({\mathbf{x}}_{\mathbf{i}}))}\text{\hspace{1em}(4.4-2)}$$

因此，初始化$F_0(x)$为：
$$\begin{array}{rl}{F}_0(\mathbf{x})=& \ln (\frac{p}{1-p})\end{array}$$
其中，$p$为某一类的概率。

4.2 计算伪残差（pseudo residuals）

由公式(2.7)可知，
$$r_{im}=y_i-p$$
$r_{im}$表示：前$m$个模型在第$i$个样本上的表现（与完美程度的差距）。

4.3 训练拟合残差的弱学习器

使用数据 { ( x 1 , r 1 m ) , ( x 2 , r 2 m ) , . . . , ( x n , r n m ) } \{(\boldsymbol{x_1}, r_{1m}), (\boldsymbol{x_2}, r_{2m}),..., (\boldsymbol{x_n}, r_{nm})\} {(x1​,r1m​),(x2​,r2m​),...,(xn​,rnm​)}训练弱分类器$f_m(\mathbf{x})$，找到弱分类器的最佳参数。

4.4 找一个合适该弱学习器的权重

此时我们找到了$f_m(\mathbf{x})$，但是还有一个问题，就是应该给它分配多大的权重，因此需要考虑能够使
$$\underset{{\gamma }_m}{\mathrm{argmin}}\sum _{i=1}^{n}L(y_i,F_{m-1}({\mathbf{x}}_{\mathbf{i}})+{\gamma }_m{f}_m({\mathbf{x}}_{\mathbf{i}}))$$
最小的${\gamma }_m$

在决策树中，由于其模型特点：不同的叶子结点可以看做是不同的方程，所以，其对最小值的寻找范围并非在整个数据集上，而是在当前输出的叶子节点上，因此，不同的叶子节点有不同的权重，假定这样的叶子结点共有$J$个，则有：
$$\begin{array}{rl}{\gamma }_{Jm}=& \underset{\gamma }{\mathrm{argmin}}\sum _{x_i,y_i\in D_{Jm}}L(y_i,F_{m-1}({\mathbf{x}}_{\mathbf{i}})+\gamma )\\ =& \underset{\gamma }{\mathrm{argmin}}\sum _{x_i,y_i\in D_{Jm}}-y_i\ast [F_{m-1}({\mathbf{x}}_{\mathbf{i}})+\gamma ]+\ln (1+\exp ([F_{m-1}({\mathbf{x}}_{\mathbf{i}})+\gamma ]))\end{array}\text{\hspace{1em}(4.5)}$$
在公式(4.5)中，

${\gamma }_{Jm}$表示：经过前$m$个模型后，聚集在第$J$个叶子上的最佳权重。
$F_{m-1}({\mathbf{x}}_{\mathbf{i}})$表示：经过前$m-1$个模型后，第$i$个样本对应的模型结果（不是概率值，是分类结果）。
$y_i$表示：第$i$个样本对应的模型结果（不是概率值，是分类结果）。

在这样的情况下，要求$\gamma$非常难，所以采用泰勒公式将公式(3.5)展开，于是有：

$$\begin{array}{rl}L(y_i,F_{m-1}({\mathbf{x}}_{\mathbf{i}})+\gamma )\approx & L(y_i,F_{m-1}({\mathbf{x}}_{\mathbf{i}}))+\frac{\partial L}{\partial F_{m-1}({\mathbf{x}}_{\mathbf{i}})}\gamma +\frac{1}{2}\frac{{\partial }^{2}L}{{\partial }^2{F}_{m-1}({\mathbf{x}}_{\mathbf{i}})}{\gamma }^2\end{array}\text{\hspace{1em}(4.6)}$$
让公式(3.6)对$\gamma$求导，并令其为0，则有：
$$\begin{array}{rl}\frac{\partial L(y_i,F_{m-1}({\mathbf{x}}_{\mathbf{i}})+\gamma )}{\gamma }\approx & 0+\frac{\partial L}{\partial F_{m-1}({\mathbf{x}}_{\mathbf{i}})}+\frac{{\partial }^{2}L}{{\partial }^2{F}_{m-1}({\mathbf{x}}_{\mathbf{i}})}\gamma \\ 0=& \frac{\partial L}{\partial F_{m-1}({\mathbf{x}}_{\mathbf{i}})}+\frac{{\partial }^{2}L}{{\partial }^2{F}_{m-1}({\mathbf{x}}_{\mathbf{i}})}\gamma \\ \gamma =& {\partial }^{2}L/{\partial }^2{F}_{m-1}({\mathbf{x}}_{\mathbf{i}})\end{array}\text{\hspace{1em}(4.7)}$$

对于${\partial }^{2}L/{\partial }^2{F}_{m-1}({\mathbf{x}}_{\mathbf{i}})$来说，则有：
$$\begin{array}{rl}\frac{{\partial }^{2}L}{{\partial }^{2}F}=& \frac{\exp (F)(1+\exp (F))-\exp (2F)}{(1+\exp (F){)}^2}\\ =& \frac{\exp (F)}{(1+\exp (F){)}^2}\\ =& p\ast \frac{1}{(1+\exp (F))}\\ =& p\ast (1-\frac{\exp (F)}{(1+\exp (F))})\\ =& p(1-p)\end{array}\text{\hspace{1em}(4.8)}$$
注意！！！这里的$p$是指第$i$个样本的概率！！！
所以！！！
$$\gamma =\frac{-y_i+p_i}{p_i(1+p_i)}\text{\hspace{1em}(4.9)}$$
懒猴，我们再根据公式(4.5)就可以计算出
$${\gamma }_m=\frac{{\sum }_{x_i,y_i\in D_{Jm}}(-y_i+p_i)}{{\sum }_{x_i,y_i\in D_{Jm}}{p}_i(1+p_i)}\text{\hspace{1em}(4.10)}$$
例如，如果样本2与样本3在同一个叶子结点上，则第$m$个模型的权重为：
$${\gamma }_m=\frac{(y_2-p_2)+(y_3-p_3)}{(p_2(1+p_2))+(p_3(1+p_3))}$$

4.5 更新模型

$$F_m(\mathbf{x})=F_{m-1}(\mathbf{x})+\nu f_m(\mathbf{x})$$
上式中，$\nu$为学习率。
重复上述模型，直到指定次数。

在分类树中，$f_m(\mathbf{x})$则变成了indication function，即

函数$I$的含义为：
$$I({\mathbf{x}}_{\mathbf{i}})=\{\begin{array}{ccc}1& if:i=j& \\ 0& other:i\ne j& \end{array}$$
对于所有的叶子节点而言，如果${\mathbf{x}}_{\mathbf{i}}$不属于该叶子节点，则$I({\mathbf{x}}_{\mathbf{i}})=0$，否则为1。

---

5. 参考文献

• 《西瓜书》
• 《Greedy Function Approximation: A Gradient Boosting Machine》

---

1. 在分类中，无法直接计算其属于哪个分类，因此只能够通过计算属于各个分类的概率值来衡量。
   所以采用logistics模型来体现各个分类的概率值。
   $$F(x)=\ln (\frac{p}{1-p})$$
   $$L(y,F(\mathbf{x}))=\sum _{i=1}^N{y}_i\ast \ln (p)+(1-y_i)\ast \ln (1-p))\text{\hspace{1em}(-1.1)}$$
   要使公式(-1.1)最小，等价于求下式的极大值。
   $$L(y,F(\mathbf{x}))=-\sum _{i=1}^N{y}_i\ast \ln (p)+(1-y_i)\ast \ln (1-p))\text{\hspace{1em}(-1.2)}$$
   因此有极大化每个样本数据：
   $$\begin{array}{rl}{L}_i(y_i,F({\mathbf{x}}_{\mathbf{i}}))=& -[y_i\ast \ln (p)+(1-y_i)\ast \ln (1-p)]\\ =& -y_i\ast \ln (p)-(1-y_i)\ast \ln (1-p)\\ =& -y_i\ast [\ln (p)-\ln (1-p)]-\ln (1-p)\\ =& -y_i\ast [\ln (\frac{p}{1-p})]-\ln (1-p)\end{array}\text{\hspace{1em}(-1.3)}$$
   又因，在logistics回归中：
   $$\begin{array}{rl}\ln (1-p)=& \ln (1-\frac{\exp (\ln (\frac{p}{1-p}))}{1+\exp (\ln (\frac{p}{1-p}))})\\ =& \ln (\frac{1}{1+\exp (\ln (\frac{p}{1-p}))})\\ =& \ln (1)-\ln (1+\exp (\ln (\frac{p}{1-p})))\\ =& -\ln (1+\exp (\ln (\frac{p}{1-p})))\end{array}\text{\hspace{1em}(-1.4)}$$
   将(-1.4)代入(-1.3)，则Loss function有：
   $$L_i(y_i,F({\mathbf{x}}_{\mathbf{i}}))=-y_i\ast \ln (\frac{p}{1-p})+\ln (1+\exp (\ln (\frac{p}{1-p})))\text{\hspace{1em}(-1.5)}$$ ↩︎