前向分步算法&梯度提升决策树(GBDT)

一、前向分布算法介绍：

前向分步算法是构建集成学习的一个非常重要的框架，可以从前面学习的Adaboost算法的整体逻辑框架中抽象得出。这个框架包含加法模型和前向分步算法两个部分，有了这个框架，既可以解决分类问题，也可以解决回归问题。

1.1 加法模型：

在Adaboost模型中，我们把每个基本分类器合成一个复杂分类器的方法是每个基本分类器的加权和，即：$f(x)={\sum }_{m=1}^M{\beta }_{m}b\left(x;{\gamma }_m\right)$，其中，$b\left(x;{\gamma }_m\right)$为即基本分类器，${\gamma }_m$为基本分类器的参数，${\beta }_m$为基本分类器的权重。

在给定训练数据以及损失函数$L(y,f(x))$的条件下，学习加法模型$f(x)$ 就是：
$$\underset{{\beta }_m,{\gamma }_m}{\min }\sum _{i=1}^{N}L\left(y_i,\sum _{m=1}^M{\beta }_{m}b\left(x_i;{\gamma }_m\right)\right)$$
基本思路是： 因为学习的是加法模型，如果从前向后，每一步只优化一个基函数及其系数，逐步逼近目标函数，那么就可以降低优化的复杂度。具体而言，每一步只需要优化：
$$\underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L\left(y_i,\beta b\left(x_i;\gamma \right)\right)$$

1.2 前向分步算法：

给定数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，$x_i\in \mathcal{X}\subseteq {\mathbf{R}}^n$， y i ∈ Y = { + 1 , − 1 } y_{i} \in \mathcal{Y}=\{+1,-1\} yi​∈Y={+1,−1}。损失函数$L(y,f(x))$，基函数集合 { b ( x ; γ ) } \{b(x ; \gamma)\} {b(x;γ)}，我们需要输出加法模型$f(x)$。

• 初始化：$f_0(x)=0$
• 对m = 1,2,…,M:
• (a) 极小化损失函数：
  $$\left({\beta }_m,{\gamma }_m\right)=\arg \underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L\left(y_i,f_{m-1}\left(x_i\right)+\beta b\left(x_i;\gamma \right)\right)$$
  得到参数${\beta }_m$与${\gamma }_m$
• (b) 更新：
  $$f_m(x)=f_{m-1}(x)+{\beta }_{m}b\left(x;{\gamma }_m\right)$$
• 得到加法模型： $$f(x)=f_M(x)=\sum _{m=1}^M{\beta }_{m}b\left(x;{\gamma }_m\right)$$

这样，前向分步算法将同时求解从m=1到M的所有参数${\beta }_m$，${\gamma }_m$的优化问题简化为逐次求解各个${\beta }_m$，${\gamma }_m$的问题。

1.3 前向分步算法与Adaboost的关系

二、梯度提升决策树(GBDT)

2.1 基于残差学习的提升树算法

2.1.1 基于残差学习的提升树算法原理介绍

使用加法模型+前向分步算法框架，以决策树分类器为基函数，以残差为评判拟合程度指标，解决回归问题。

问题1： 为什么采用残差（平方误差）作为分类指标？
答： 回归树中的样本标签是连续值，再使用分类树中熵之类的指标不合适，故使用平方误差来评判拟合程度。
问题2： 提升的标准是什么？(前向分步算法中更新学习器$f(x)$的依据）
答： 模仿Adaboost中的分类误差率，使用每个样本的残差表示每次使用基函数预测时没有解决的那部分问题。

算法推导：

输入数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } , x i ∈ X ⊆ R n , y i ∈ Y ⊆ R T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\}, x_{i} \in \mathcal{X} \subseteq \mathbf{R}^{n}, y_{i} \in \mathcal{Y} \subseteq \mathbf{R} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)},xi​∈X⊆Rn,yi​∈Y⊆R，输出最终的提升树$f_M(x)$

• 初始化$f_0(x)=0$
• 对m = 1,2,…,M：（利用学习器$f_{m-1}(x)$的预测值，计算第m次的残差$r_{mi}$，并使用该残差估计学习器$f_m(x)$，此处的学习器指回归树）。
  • 计算每个样本的残差:$r_{mi}=y_i-f_{m-1}\left(x_i\right),i=1,2,\cdots ,N$
  • 拟合残差$r_{mi}$学习一棵回归树，得到$T\left(x;{\Theta }_m\right)$
  • 更新$f_m(x)=f_{m-1}(x)+T\left(x;{\Theta }_m\right)$
• 得到最终的回归问题的提升树：$f_M(x)={\sum }_{m=1}^{M}T\left(x;{\Theta }_m\right)$

2.1.2 基于残差学习的提升树算法-实际案例计算

有时间再手写补充

2.2 梯度提升决策树算法（GBDT)

梯度提升决策树算法(GBDT)是利用最速下降法的近似方法，也就是利用损失函数的负梯度在当前模型的值$-{\left[\frac{\partial L\left(y,f\left(x_i\right)\right)}{\partial f\left(x_i\right)}\right]}_{f(x)=f_{m-1}(x)}$作为回归问题提升树算法中的残差的近似值，拟合回归树。
解决的问题：
提升树算法只有在损失函数为平方损失和指数损失时每一步的优化是简单的，故需要解决一般的损失函数每一步的优化并不容易的问题。

2.2.1 梯度提升决策树算法(GBDT)原理

输入训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } , x i ∈ X ⊆ R n , y i ∈ Y ⊆ R T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\}, x_{i} \in \mathcal{X} \subseteq \mathbf{R}^{n}, y_{i} \in \mathcal{Y} \subseteq \mathbf{R} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)},xi​∈X⊆Rn,yi​∈Y⊆R和损失函数$L(y,f(x))$，输出回归树$\hat{f}(x)$。($c_{mj}$为使得损失最小时学习器的参数，$c$为常数)。

• 初始化$f_0(x)=\arg {\min }_c{\sum }_{i=1}^{N}L\left(y_i,c\right)$
• 对于m=1,2,…,M：

  • 对i = 1,2,…,N计算：$r_{mi}=-{\left[\frac{\partial L\left(y_i,f\left(x_i\right)\right)}{\partial f\left(x_i\right)}\right]}_{f(x)=f_{m-1}(x)}$

  • 对$r_{mi}$拟合一个回归树，得到第m棵树的叶结点区域$R_{mj},j=1,2,\cdots ,J$

  • 对j=1,2,…J，计算：$c_{mj}=\arg {\min }_c{\sum }_{x_i\in R_{mj}}L\left(y_i,f_{m-1}\left(x_i\right)+c\right)$ (这一部分没看懂）

  • 更新$f_m(x)=f_{m-1}(x)+{\sum }_{j=1}^J{c}_{mj}I\left(x\in R_{mj}\right)$

• 得到回归树：$\hat{f}(x)=f_M(x)={\sum }_{m=1}^M{\sum }_{j=1}^J{c}_{mj}I\left(x\in R_{mj}\right)$

2.2.2 梯度提升决策树算法(GBDT)-实际案例计算

有时间再手写补充

2.3 GBDT代码实例介绍(sklearn库）

2.3.1 GradientBoostingRegressor参数介绍

GradientBoostingRegressor参数解释：
loss：{‘ls’, ‘lad’, ‘huber’, ‘quantile’}, default=’ls’：‘ls’ 指最小二乘回归. ‘lad’ (最小绝对偏差)是仅基于输入变量的顺序信息的高度鲁棒的损失函数。. ‘huber’ 是两者的结合.‘quantile’允许分位数回归（用于alpha指定分位数）
learning_rate： 学习率缩小了每棵树的贡献learning_rate。在learning_rate和 n_estimators之间需要权衡。
n_estimators： 要执行的提升次数。
subsample: 指定采样出 subsample * n_samples 个样本用于训练弱学习器。此处非放回采样。
criterion： {‘friedman_mse’，‘mse’，‘mae’}，默认=‘friedman_mse’：“mse”是均方误差，“ mae”是平均绝对误差。默认值“ friedman_mse”通常是最好的，因为在某些情况下它可以提供更好的近似值。
max_depth： 各个回归模型的最大深度。最大深度限制了树中节点的数量。调整此参数以获得最佳性能；最佳值取决于输入变量的相互作用。
min_samples_leaf： 在叶节点处需要的最小样本数。
min_impurity_split： 提前停止树木生长的阈值。如果节点的杂质高于阈值，则该节点将分裂
max_features{‘auto’, ‘sqrt’, ‘log2’}，int或float： 寻找最佳分割时要考虑的功能数量：

• 如果为int，则max_features在每个分割处考虑特征。
• 如果为float，max_features则为小数，并 在每次拆分时考虑要素。int(max_features * n_features)
• 如果“auto”，则max_features=n_features。
• 如果是“ sqrt”，则max_features=sqrt(n_features)。
• 如果为“ log2”，则为max_features=log2(n_features)。
• 如果没有，则max_features=n_features。

2.3.2 GradientBoostingClassifier参数介绍

GradientBoostingClassifier参数解释：
参数：
loss：{‘deviance’, ‘exponential’}, default=’deviance’，‘deviance’：对数损失函数；‘exponential’：指数损失函数，只能用于二分类。
subsample: 指定采样出 subsample * n_samples 个样本用于训练弱学习器。此处非放回采样。
learning_rate： 学习率缩小了每棵树的贡献learning_rate。在learning_rate和 n_estimators之间需要权衡。
n_estimators： 数值型参数，默认值为100，指定弱分类器的个数。
criterion： 字符串类型，默认值为 ‘gini’。‘entropy’，使用基于信息熵的方法，即计算信息增益；‘gini’，使用基尼系数。
max_depth： 数值型，默认值3。最大深度限制了树中节点的数量。调整此参数以获得最佳性能；最佳值取决于输入变量的相互作用。
min_samples_leaf： 在叶节点处需要的最小样本数。此参数设置的过小会导致过拟合，反之就会欠拟合。
min_samples_split： 拆分内部节点所需的最少样本数。数值型，默认值2，指定每个内部节点(非叶子节点)包含的最少的样本数。与min_samples_leaf这个参数类似，可以是整数也可以是浮点数。
min_impurity_split： 提前停止树木生长的阈值。如果节点的杂质高于阈值，则该节点将分裂
max_features{‘auto’, ‘sqrt’, ‘log2’}，int或float： 寻找最佳分割时要考虑的功能数量：

• 如果为int，则max_features在每个分割处考虑特征。
• 如果为float，max_features则为小数，并 在每次拆分时考虑要素。int(max_features * n_features)
• 如果“auto”，则max_features=n_features。
• 如果是“ sqrt”，则max_features=sqrt(n_features)。
• 如果为“ log2”，则为max_features=log2(n_features)。
• 如果没有，则max_features=n_features。

属性：
feature_importances_ ： 各个特征对模型的重要性。
estimators_： 一个数组，给出每个弱学习器。

方法:
fit(X, y) : 训练模型。
predict(X) : 用模型预测，返回预测值。
predict_proba(X) : 返回数组，数组元素依次为各个样本属于各个类别的概率值。
score(X, y) : 返回在(X, y)上预测的准确率(accuracy)。

参考文献：sklearn中GBDT的一些参数、属性、方法的理解

2.3.3 GradientBoostingRegressor代码实例(基于sklearn)

from sklearn.metrics import mean_squared_error
from sklearn.datasets import make_friedman1
from sklearn.ensemble import GradientBoostingRegressor

X, y = make_friedman1(n_samples=1200, random_state=0, noise=1.0)
X_train, X_test = X[:200], X[200:]
y_train, y_test = y[:200], y[200:]
est = GradientBoostingRegressor(n_estimators=100, learning_rate=0.1,
    max_depth=1, random_state=0, loss='ls').fit(X_train, y_train)
print("均方误差：",mean_squared_error(y_test, est.predict(X_test)))

from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
X, y = make_regression(random_state=0)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, random_state=0)
reg = GradientBoostingRegressor(random_state=0)
reg.fit(X_train, y_train)
print("准确率：",reg.score(X_test, y_test))

2.3.2 GradientBoostingClassifier代码实例(基于sklearn)

from sklearn import datasets
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.model_selection import train_test_split
from sklearn import datasets  # 导入库

cancer = datasets.load_breast_cancer()  # 导入乳腺癌数据
X = cancer.data
y = cancer.target

#划分数据集
X_train, X_test, y_train, y_test = train_test_split(
    X, y, random_state=0)

#GBDT分类树
clf = GradientBoostingClassifier()

clf.fit(X_train,y_train)
print("准确率",clf.score(X_test,y_test))

参考：DataWhale/ensemble-learning