GBDT+Xgboost算法与MNIST实践

一、GBDT

GBDT(Gradient Boosting Decision Tree)，梯度提升决策树。是一种基于决策树的集成算法。

$GBDT=GradientBoosting+DecisionTree$

• 其中Gradient Boosting 是集成方法boosting中的一种算法，通过梯度提升来对新的学习器进行迭代。
• GBDT中采用的决策树是CART回归树，无论是处理回归还是分类问题，GBDT使用的决策树通通都是都是CART回归树，因为GBDT每次迭代要拟合的是梯度值，是连续值，所以要用回归树。

（一）原理

1、Boosting提升方法：采用
加法模型（即基函数的线性组合）：
$$F(x)=\sum f_i(x)$$
前向分布算法：
$$F_t(x)=F_{t-1}(x)+T(x;\Theta )$$
通过经验风险最小化确定决策树参数：
$${\hat{\Theta }}_m=arg\underset{{\Theta }_m}{\min }\sum _{i=1}^{N}L(y_i,f_{m-1}(x_i)+T(x_i;{\Theta }_m))$$

2、学习残差
GBDT每棵加入的新的树，目标就是是学习残差 $y-F(x)$。
即：假设已学好t-1个弱学习器(树），则第t棵树 $f_t(x)$ 学习的目标就是 $y-F_{t-1}(x)$。

3、残差的替代：负梯度

• 平方损失函数： $L(y,F)=\frac{1}{2}(y-F(x){)}^2$
• 残差： $y_i-F(x_i)=-\frac{1}{2}\frac{\partial (y-F(x){)}^2}{F(x)}=-\frac{\partial L(y,F(x))}{\partial F(x)}$

按照学习率进行梯度下降迭代：

$f_m(x)=f_{m-1}(x)-\eta \frac{\partial L(y,F(x))}{\partial F(x)}$

$f_m(x)=f_{m-1}(x)+\eta T_m$

$\therefore T_m(x)=-\frac{\partial L(y,f_{m-1}(x))}{\partial f_{m-1}(x)}$

4、负梯度$\ne$残差
不同问题的梯度提升树学习算法，使用的损失函数不同（其他损失函数时就不是残差）

• 用平方误差损失函数的回归问题；
• 用指数损失函数的分类问题；
• 用一般损失函数的一般决策问题

（二）算法流程

1、训练数据为 $\{(x_i,y_i){\}}_{i=1}^n$，损失函数为$L(y,F(x))$，可以是平方损失、绝对值损失、Huber损失函数等。共迭代M次，训练M棵树。

2、算法流程

• 初始学习器：$F_0(x)$在平方损失函数下，就是初始所有y的均值。
• 残差 $r_{im}$，在进行前一次训练后，拟合的对象为：$\{(x_i,r_{im}){\}}_{i=1}^n$，构建CART回归树来拟合。
• 为了避免过拟合，引入学习率 $\gamma$。

二、Xgboost算法

（一）目标函数

1、树的集成：
$${\widehat{y_i}}^{(t)}={\widehat{y_i}}^{(t-1)}+f_t(x_i)=\sum _{t=1}^T{f}_t(x_i)$$

2、目标函数：
O B j = L ( Θ ) + Ω ( Θ )           Θ = { f 1 , f 2 , . . . , f T } OBj = L(\Theta)+\Omega(\Theta) \ \ \ \ \ \ \ \ \ \Theta=\{f_1,f_2,...,f_T\} OBj=L(Θ)+Ω(Θ)         Θ={f1​,f2​,...,fT​}

其中，损失函数 $L(\Theta )$、模型复杂度$\Omega (\Theta )$的定义为：
$$\begin{array}{rl}L(\Theta )& =\sum _{i=1}^{n}l(y_i,\widehat{y_i})——对所有样本求和\\ \Omega (\Theta )& =\sum _{k=1}^K\Omega (f_k)——对所有树求和\end{array}$$

泰勒展开：
$$f(x+\Delta x)\approx f(x)+f^{\prime }(x)\Delta x+\frac{1}{2}{f}^{\prime \prime }(x)\Delta x^2$$

$\Delta x$ —— $f_t(x_i)$

$f(x+\Delta x)$ —— $l(y_i,{\widehat{y_i}}^{(t-1)}+f_t(x_i))=l(y_i,{\widehat{y_i}}^{(t)})$

$f(x)$ —— $l(y_i,{\widehat{y_i}}^{(t-1)})$

$f^{\prime }(x)$ —— $g_i=\frac{\partial l(y_i,{\widehat{y_i}}^{(t-1)})}{\partial {\widehat{y_i}}^{(t-1)}}$

$f^{\prime \prime }(x)$ —— $h_i=\frac{{\partial }^{2}l(y_i,{\widehat{y_i}}^{(t-1)})}{\partial {{\widehat{y_i}}^{(t-1)}}^2}$

代入上式、泰勒展开，目标函数最终形式：
$$\begin{array}{rl}OB{j}^{(t)}& =\sum _{i=1}^{n}l(y_i,{\widehat{y_i}}^{(t)})+\sum _{k=1}^K\Omega (f_k)\\ & =\sum _{i=1}^{n}l(y_i,{\widehat{y_i}}^{(t-1)}+f_t(x_i))+\Omega (f_t)+C\\ & =\sum _{i=1}^n[l(y_i,{\widehat{y_i}}^{(t-1)})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\Omega (f_t)+C\end{array}$$
其中 $g_i=\frac{\partial l(y_i,{\widehat{y_i}}^{(t-1)})}{\partial {\widehat{y_i}}^{(t-1)}},h_i=\frac{{\partial }^{2}l(y_i,{\widehat{y_i}}^{(t-1)})}{\partial {{\widehat{y_i}}^{(t-1)}}^2}$

前t-1颗树已知，所以${\sum }_{i=1}^{n}l(y_i,{\widehat{y_i}}^{(t-1)})$ 为已知常数项。
$$\begin{array}{rl}OB{j}^{(t)}& =\sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\Omega (f_t)+C\end{array}$$

（二）模型复杂度：

1、定义：待训练的第t颗树有T个叶子结点，叶子结点的输出向量为$[{\omega }_1,{\omega }_2,...,{\omega }_T]$。 q : R d → { 1 , 2 , 3 , . . . , T } q:R^d \rightarrow \{1,2,3,...,T\} q:Rd→{1,2,3,...,T}
所以，$q(x)$表示对于每一个样本点x，其对应的叶子结点。
所以，$w_{q(x)}$表示样本点x对应的叶子结点输出值，也就是树最终拟合的$f_t(x_i)$

2、对于每一个叶子结点$j$，定义 I j = { i ∣ q ( x i ) = j } I_j=\{i|q(x_i)=j\} Ij​={i∣q(xi​)=j}，表示每个叶子结点所包含的样本$x_i$。

3、所以模型复杂度定义为：
$$\Omega (f_t)=\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{\omega }_j^2$$
$T$为叶子结点数，${\omega }_j$表示叶子结点$j$的输出，$\gamma$为系数

目标函数最终化简为：

$$\begin{array}{rl}OB{j}^{(t)}& =\sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\Omega (f_t)\\ & =\sum _{j=1}^T[(\sum _{i\in I_j}{g}_i){\omega }_{q(x_i)}+\frac{1}{2}(\sum _{i\in I_j}{h}_i+\lambda ){\omega }_{q(x_i)}^2]+\gamma T\end{array}$$
令$$G_j=\sum _{i\in I_j}{g}_i，H_j=\sum _{i\in I_j}{h}_i$$

$$\begin{array}{rl}OB{j}^{(t)}& =\sum _{j=1}^T[G_j{\omega }_j+\frac{1}{2}(H_i+\lambda ){\omega }_j^2]+\gamma T\end{array}$$

（三）目标函数优化

目标函数为累加的，相互独立的二次函数，所以对于每一项进行优化。即：
$$w_j=arg\underset{x}{\min }{G}_{j}x+\frac{1}{2}(H_j+\lambda )x^2$$
解得最优参数：$w_j^{\ast }=-\frac{G_j}{H_j+\lambda }$

解得目标函数最小值：
$$O{b}_j^{(t)}=-\frac{1}{2}\sum _{j=1}^T\frac{G_j^2}{H_j+\lambda }+\gamma T$$

（四） 生成树策略

根据决策树的生成策略，再每次分裂节点的时候我们需要考虑能使得损失函数减小最快的节点，也就是分裂后损失函数减去分裂前损失函数我们称之为Gain：
$$Gain=\frac{1}{2}[\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_R+\lambda }-\frac{(G_L+G_R{)}^2}{H_L+H_R+\lambda }]-\lambda$$
Gain越大越能说明分裂后目标函数值减小越多。

（五）寻找最优节点

1、精确贪心算法

2、近似算法

（六）Xgboost 参数

xgboost中XGBClassifier()参数，调参的主要目的为选择合适的方法（分类/回归）、避免过拟合

常规参数

booster
    gbtree 树模型做为基分类器（默认）
    gbliner 线性模型做为基分类器
silent
    silent=0时，输出中间过程（默认）
    silent=1时，不输出中间过程
nthread
    nthread=-1时，使用全部CPU进行并行运算（默认）
    nthread=1时，使用1个CPU进行运算。
scale_pos_weight
    正样本的权重，在二分类任务中，当正负样本比例失衡时，设置正样本的权重，模型效果更好。例如，当正负样本比例为1:10时，scale_pos_weight=10

模型参数

n_estimatores
    含义：总共迭代的次数，即决策树的个数
    调参：
early_stopping_rounds
    含义：在验证集上，当连续n次迭代，分数没有提高后，提前终止训练。
    调参：防止overfitting。
max_depth
    含义：树的深度，默认值为6，典型值3-10。
    调参：值越大，越容易过拟合；值越小，越容易欠拟合。
min_child_weight
    含义：叶子结点中样本的数目最小值，默认值为1。
    调参：值越大，避免模型学习到局部的特殊样本，越容易欠拟合；值越小，会出现单个样本成一个叶子结点的情况，越容易过拟合。
subsample
    含义：训练每棵树时，使用的数据占全部训练集的比例。默认值为1，典型值为0.5-1。
    调参：防止overfitting。
colsample_bytree
    含义：训练每棵树时，使用的特征占全部特征的比例。默认值为1，典型值为0.5-1。
    调参：防止overfitting。

学习任务参数

learning_rate
    含义：学习率，控制每次迭代更新权重时的步长，默认0.3。
    调参：值越小，训练越慢。
    典型值为0.01-0.2。
objective 目标函数
    回归任务
        reg:linear (默认)
        reg:logistic
    二分类
        binary:logistic     概率
        binary：logitraw   类别
    多分类
        multi：softmax  num_class=n   返回类别
        multi：softprob   num_class=n  返回概率
    rank:pairwise
eval_metric
    回归任务(默认rmse)
        rmse--均方根误差
        mae--平均绝对误差
    分类任务(默认error)
        auc--roc曲线下面积
        error--错误率（二分类）
        merror--错误率（多分类）
        logloss--负对数似然函数（二分类）
        mlogloss--负对数似然函数（多分类）
gamma
    惩罚项系数，指定节点分裂所需的最小损失函数下降值。
    调参：
alpha
    L1范数的系数，默认为1
lambda
    L2范数的系数，默认为1

示例

model = XGBClassifier(
        booster='gbtree',
        eval_metric='auc',
        n_estimators=140,
        learning_rate =0.05,
        max_depth=7,
        min_child_weight=0.1,
        gamma=20,
        subsample=0.7,
        colsample_bytree=0.7,
        colsample_level=0.7,
        objective= 'binary:logistic',
        nthread=4,
        scale_pos_weight=2,
        reg_alpha=5.4
        reg_lambda=1,
        seed=27,
        alpha=0.1,
        eta= 0.1, 
        silent=0)

三、Xgboost 和 GBDT 的区别：

GBDT：

1、优点：非线性变换比较多，表达能力强，而且不需要做复杂的特征工程和特征变换。
2、缺点：Boost 是一个串行过程，不好并行化，而且计算复杂度高，同时不太适合高维稀疏特征；传统 GBDT 在优化时只用到一阶导数信息。

Xgboost：

1、显式地把树模型复杂度作为正则项加到优化目标中。
2、公式推导中用到了二阶导数，用了二阶泰勒展开。（GBDT 用牛顿法貌似也是二阶信息）
3、实现了分裂点寻找近似算法。
4、利用了特征的稀疏性。
5、数据事先排序并且以 block 形式存储，有利于并行计算。
6、基于分布式通信框架 rabit，可以运行在 MPI 和 yarn 上。（最新已经不基于 rabit 了）
7、实现做了面向体系结构的优化，针对 cache 和内存做了性能优化。

四、代码实例

MNIST手写数字识别数据集——分类问题。

import numpy as np
import pandas as pd
import xgboost as xgb
from sklearn.model_selection import train_test_split
from sklearn import metrics

data = pd.read_csv('../input/digit-recognizer/train.csv')

X, y = data.drop(['label'], axis=1), data['label']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.1, random_state=12)

model = xgb.XGBClassifier(learning_rate =0.3,
 n_estimators=100,
 max_depth=9,
 min_child_weight=1,
 nthread=4,
 seed=27)

model.fit(X_train, y_train)
y_hat = model.predict(X_test)
print(metrics.classification_report(y_test, y_hat))

test = pd.read_csv('../input/digit-recognizer/test.csv')
y_pred = model.predict(test)

index = len(y_pred)
index = [i + 1 for i in range(index)]
y_pred.index = index
y_pred.index.name = 'ImageId'
y_pred = y_pred.rename({0: 'Label'}, axis=1)
y_pred.to_csv('./submission.csv')