机器学习:GBDT算法

1 加法模型和前向分布算法

  给定训练集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } D=\{(x_{1},y_{1}),(x_{2},y_{2}),\dots,(x_{N},y_{N})\} D={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)}及损失函数$L(y,f(x))$。假定希望构造一个如下的的加法模型$f(x)$来对数据集$D$进行拟合。加法模型$f(x)$的数学表示如下：$$f(x)=\sum _{i=1}^M{\beta }_{m}b(x;r_m)$$其中$b(x;r_m)$称为基模型(或称弱模型)，${\beta }_m$为基模型的系数，$r_m$为基模型的参数。此时加法模型$f(x)$的训练目标是寻找一组最优的$({\beta }_m,r_m)$使在数据集$D$上的损失最小。即：$${\arg }_{{\beta }_m,r_m}\min \sum _{i=1}^{N}L(y,f(x_i)=\sum _{m=1}^M{\beta }_{m}b(x_i;r_m))$$显然一次性求出所有的${\beta }_m$和$r_m$是非常难的。
  为了求解加法模型可以考虑使用贪心策略，每一步只学习一个基模型及其系数，使得当前基模型和之前所有的基模型组合后目标表达式取得最优值，最终就可以使得所有弱模型组合后目标表达式取得最优值。这种方法即前向分步算法，其算法步骤如下：

1. 初始化$f_0(x)=0$
2. 对于$m=1,2,\dots ,M$,分别依次执行以下两步操作：
   (a)求${\beta }_m$和$r_m$使当前的损失函数最小。即$$({\beta }_m,r_m)={\arg }_{{\beta }_m,r_m}\min \sum _{i=1}^{N}L(y_i,f_{m-1}(x_i)+{\beta }_{m}b(x_i;r_m))$$(b)更新$f_m(x)$:$$f_m(x)=f_{m-1}(x)+{\beta }_{m}b(x;r_m)$$
3. 最终的模型为：$$f(x)=\sum _{m=1}^M{\beta }_{m}b(x;r_m)$$

2 梯度提升

  使用前向分步算法求解加法模型时，若使用的平方损失函数有如下发现：$$\begin{array}{rl}L(y,f_m(x))& =\sum _{i=1}^N(y_i-(f_{m-1}(x_i)+{\beta }_{m}b(x_i;r_m)){)}^2\\ & =\sum _{i=1}^N(y-f_{m-1}(x_i)-{\beta }_{m}b(x_i;r_m){)}^2\end{array}$$其中$y_{-}{f}_{m-1}(x)$即为残差，此时需要寻找的${\beta }_m$和$r_m$只要能拟合前面模型的残差就可以了。
  如果使用的不是平方损失函数，又或者损失函数很难进行优化时，使用前向分步算法求解基函数就非常困难了。为了解决这个问题，Friedman提出了梯度提升(Gradient Boosting)方法。该方法使用损失函数负梯度的方向代替残差方向，即损失函数的负梯度在当前模型的值作为残差的近似值，所以该值又被称为伪残差(当使用平方损失函数时，伪残差即为残差)。此时，加法模型的求解过程如下：

1. 用一个常数值初始化$f_0(x)$。$$f_0(x)={\arg }_{\gamma }\min \sum _{i=1}^{N}L(y_i,\gamma )$$
2. 对于$m=1,2,\dots ,M$分别执行以下三步：
   (a)对于$i=1,2,\dots ,N$的每个样本的伪残差：$${\gamma }_{im}=-[\frac{\partial L(y_i,f(x_i)}{\partial f(x_i)}{]}_{f(x)=f_{m-1}(x)}$$(b)在新的训练集 { ( x i , γ 1 m ) , ( x 2 , γ 2 m ) , … , ( x N , γ N m ) } \{(x_{i},\gamma_{1m}),(x_{2},\gamma_{2m}),\dots,(x_{N},\gamma_{Nm})\} {(xi​,γ1m​),(x2​,γ2m​),…,(xN​,γNm​)}训练模型$b(x;r_m)$。之后计算${\beta }_m$，其计算公式如下：$${\beta }_m={\arg }_{\beta }\min \sum _{i=1}^{N}L(y_i,f_{m-1}(x_i)+\beta b(x_i;r_m))$$之后更新模型：$$f_m=f_{m-1}(x)+{\beta }_{m}b(x;r_m)$$
3. 最终的模型为：$$f(x)=\sum _{m=1}^M{\beta }_{m}b(x;r_m)$$

3 GBDT

  GBDT(Gradient Boosting Decision Tree，梯度提升决策树)是以CART回归树为基模型，使用梯度提升策略进行求解的加法模型(数据集成学习的Boosting型算法)。当使用平方损失时，GBDT算法最终形成的回归模型为：$$F(x)=\sum _{m=1}^M\sum _{j=1}^J{\beta }_m{c}_{mj}I(x_i\in R_{mj})$$其中，$J$为每个决策树的叶子结点数目(每单棵决策树的叶子结点个数可以不同)。$R_{mj}$为第$m$个回归树的第$j$个叶结点区域。$c_{mj}={\arg }_c\min \sum _{x_i\in R_{mj}}L(y_i,f_{m-1}(x_i)+c)$为第$m$个回归树的第$j$个叶结点的预测值。
  在上述模型基础上，GBDT又引入了衰减(Shrinkage), 衰减机制认为每次走一小步来逼近结果的效果比每次迈一大步很快逼近结果的方式更容易防止过拟合。加入衰减之后，最后的模型为：$$F(x)=v\sum _{m=1}^M\sum _{j=1}^J{\beta }_m{c}_{mj}I(x_i\in R_{mj})$$其中$v$被称为学习率(即衰减)。
  在分类问题中，由于样本输出的不是连续值，导致无法直接从输出类别去拟合输出类别误差，常用的有两种解决方案：一是使用指数损失函数；二是用类似逻辑回归的对数似然损失函数，用类别的预测概率值和真实概率值的差值来拟合损失。

4 案例

4.1 常用参数

  以GradientBoostingRegreesor()为例，对其中的几个主要参数进行说明。

主要参数作用如下：

• loss:‘ls’,‘lad’,‘huber’和‘quantile’。
• learning_rate: 控制GBDT中的衰减。
• n_estimators:基模型的个数。
• max_features：寻找最优分裂时考虑的特征个数。
• alpha: 只有当loss='huber’或loss='quantile’时这个参数才有用。

import pandas as pd
import numpy as np
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

X,y=load_boston(return_X_y=True)
X_train,X_test,y_train,y_test=train_test_split(X,y,random_state=0,test_size=0.2)
gbr=GradientBoostingRegressor(n_estimators=100,max_depth=3)
gbr.fit(X_train,y_train)
y_pred=gbr.predict(X_test)
print("RMSE:{:.3f}".format(np.sqrt(mean_squared_error(y_test, y_pred))))

参考资料：

1. https://blog.csdn.net/yc1203968305/article/details/78171464
2. https://blog.csdn.net/weixin_30376323/article/details/96281938
3. https://www.cnblogs.com/weilonghu/p/11923062.html
4. https://blog.csdn.net/qq_24519677/article/details/82020863
5. https://www.zybuluo.com/yxd/note/611571