从决策树到xgboost(二)

3 集成学习

所谓集成学习，是指构建多个分类器（弱分类器）对数据集进行预测，然后用某种策略将多个分类器预测的结果集成起来，作为最终预测结果。通俗比喻就是“三个臭皮匠赛过诸葛亮”，或一个公司董事会上的各董事投票决策，它要求每个弱分类器具备一定的“准确性”，分类器之间具备“差异性”。

集成学习根据各个弱分类器之间有无依赖关系，分为Boosting和Bagging两大流派：

Boosting流派，各分类器之间有依赖关系，必须串行，比如Adaboost、GBDT(Gradient Boosting Decision Tree)、Xgboost。是一个迭代学习的过程，用于自适应地改变训练样本的分布，使得基分类器聚焦在那些很难分的样本上。对错误的样本重点学习，准确率会更高。

Bagging流派，各分类器之间没有依赖关系，可各自并行，比如随机森林（Random Forest）。是一个自助聚集过程，是一种根据均匀概率分布从数据中重复抽样的技术。选择训练集之后，单独训练每个分类器。最后的结果由投票决定。对每个样本的学习是均等的，所以有更低的方差，也就是更好的稳定性。

而著名的Adaboost作为boosting流派中最具代表性的一种方法。

4 Adaboost

AdaBoost，是英文"Adaptive Boosting"（自适应增强）的缩写，由Yoav Freund和Robert Schapire在1995年提出。它的自适应在于：前一个基本分类器分错的样本会得到加强，加权后的全体样本再次被用来训练下一个基本分类器。同时，在每一轮中加入一个新的弱分类器，直到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。

Adaboost的两个问题：
1 每一轮如何改变训练数据的权值：提高那些被前一轮弱分类器错误分类样本的权值，降低那些被正确分类样本的权值。
2 如何将弱分类器组合成一个强分类器：加权多数表决，加大分类误差率小的弱分类器的权值，使其在表决中起较大的作用，减小分类误差率大的弱分类器的权值，使其在表决中起较小的作用。

4.1 Adaboost算法

输入：二分类的数据训练集$T=\{(x_1,y_1),(x_2,y_2)...(x_N,y_N)\}$
y i ∈ y = { − 1 , + 1 } y_i \in y=\{-1,+1\} yi​∈y={−1,+1}

输出：最终分类器G(X)

4.1.1 初始化训练数据的起始权值分布

$D_1=(w_{11},w_{12},...w_{1N})$,$w_{1i}=\frac{1}{N}$
这个代表第一轮的权值分布。

4.1.2 对m个弱分类器m=1,2,3…M

1. 在权值$D_m$下训练数据集，得到弱分类器
   G m ( X ) − > { + 1 , − 1 } G_m(X)->\{+1,-1\} Gm​(X)−>{+1,−1}
   这里并没有指定若分类器的具体模型。也就是说哪种模型都可以。
2. 计算$G_m$的训练误差
   $e_m=P(G_m(x_i)\ne y_i)={\sum }_{i=1}^n{w}_{mi}I(G_m(x_i)\ne y_i)$

对于分类错误的数据，按照权重计算其损失。也可以称为分类错误率。是当前分类器分类性能的一个指标。

3. 计算$G_m$的系数
   ${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}$

当$e_m<=\frac{1}{2}$的时候，${\alpha }_m>=0$。也就是说如果当前分类器，比随机猜测的概率要好。
当$e_m>\frac{1}{2}$的时候，${\alpha }_m<0$。当前分类器被丢弃。

4. 更新训练数据集的权值分布
   $D_{m+1}=(w_{m+1,1},w_{m+1,2}...w_{m+1,N})$
   $w_{m+1,i}=\frac{w_{mi}}{Z_m}exp(-{\alpha }_m{y}_i{G}_m(x_i))=w_{mi}\frac{exp(-{\alpha }_m{y}_i{G}_m(x_i))}{Z_m}$

如果分对了，那么$y_i{G}_m(x_i)$是一个正数，那么$-{\alpha }_m{y}_i{G}_m(x_i)$就是一个负数。如果分错了，那么$-{\alpha }_m{y}_i{G}_m(x_i)$就是一个正数。
因为$exp(正数)>exp(负数)$，最后除以一个归一化因子，所以相对而言，在分错的情况下，$w_{mi}$就会占一个比较大的权重。

$Z_m$是归一化因子，$Z_m={\sum }_{i=1}^N{w}_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))$

4.1.3 构建弱分类器的线性组合

$f(x)={\sum }_{m=1}^M{\alpha }_m{G}_m(x)$

分类器强，权重就高。

4.1.4 得到最终的分类器

$G(x)=sign(f(x))=sign({\sum }_{m=1}^M{\alpha }_m{G}_m(x))$

看这里${\alpha }_m$的作用。
${\alpha }_m$会随着$e_m$的增加而减少。这是因为如果一个分类器误差率高，那它起得作用就小。
在训练数据权重分配方面，当分类不正确的时候$w_{m+1,i}=\frac{w_{m,i}}{Z_m}{e}^{{\alpha }_m}$，当分类正确的时候$w_{m+1,i}=\frac{w_{m,i}}{Z_m}{e}^{-{\alpha }_m}$，数值比分配不正确的时候要小。通过正负号，增加错误样本的学习权重。

5 Boosting

5.1 加法模型

$f(x)={\sum }_{m=1}^M{\beta }_{m}b(x;r_m)$
$\beta$是基函数的系数
$b$是基函数

这个形式和Adaboost一样：$f(x)={\sum }_{m=1}^M{\alpha }_m{G}_m(x)$，不同的是学习过程不同。Adaboost是不断调整训练数据集数据的权重学习的。

给定训练数据和损失函数L(y,f(x))，学习加法模型f(x)，使用损失函数极小化：$mi{n}_{{\beta }_m,{\gamma }_m}{\sum }_{i=1}^{N}L(y_i,{\sum }_{m=1}^M{\beta }_{m}b(x;r_m))$

寻找使得损失函数最小的${\beta }_m,{\gamma }_m$。但是这是一个复杂的优化问题。使用前向分布算法解决。

5.2 前向分布算法

解决思路：根据学习的是加法模型，如果能够从前向后，每一步只学习一个基函数及其系数，逐步逼近优化目标函数。最后累加起来就是学习目标。

每一步的优化的损失函数是:$mi{n}_{\beta ,\gamma }{\sum }_{i=1}^{N}L(y_i,\beta b(x_i;\gamma ))$
学习M步之后，得到$mi{n}_{{\beta }_m,{\gamma }_m}{\sum }_{i=1}^{N}L(y_i,{\sum }_{m=1}^M{\beta }_{m}b(x;r_m))$

前向分布算法
输入：训练数据集 $T=\{(x_1,y_1),(x_2,y_2)....(x_N,y_N)\}$，损失函数$L(y,f(x))$，基函数集 { b ( x ; γ ) } \{b(x;\gamma)\} {b(x;γ)}
输出：加法模型f(x)

1 初始化$f_0(x)=0$

$f_0(f)=0$是一个函数，是一个效果很差的函数，一个函数就是一个映射。

2 对m=1,2…M
极小化损失函数:$({\beta }_m,{\gamma }_m)=argmi{n}_{\beta ,\gamma }{\sum }_{i=1}^{N}L(y_i,f_{m-1}(x_i)+\beta b(x_i;\gamma ))$得到参数${\beta }_m,{\gamma }_m$。

这里是一个加法模型，加法模型可以累加。$f_{m-1}$是上一轮学习得到的函数。本轮学习的函数是在上一轮函数的基础上加上当前要学习的基函数$\beta b(x_i;\gamma )$。

更新$f_m(x)=f_{m-1}(x)+{\beta }_{m}b(x_i;{\gamma }_m)$

3 得到加法模型
$f(x)={\sum }_{m=1}^M{\beta }_{m}b(x_i;{\gamma }_m)$

可以通过证明：Adaboost是boosting方法的一种特例，是基函数为分类器，损失函数是指数函数的boosting。
那也就是基函数如果为回归函数的话，应该也有一种称呼？

6 提升决策树BDT

如果boosting的基函数是决策树，并且所有基函数的系数都为1，那么成为提升决策树BDT。

BDT被认为是统计学习中性能最好的方法之一。

树可以相加？
什么是一棵树：是对特征空间的划分以及每个划分的输出。树相加就是对重叠区域的进一步划分。
对分类问题，决策树是二叉分类树。
对回归问题，决策树是二叉回归树。

定义：$f_M(x)={\sum }_{m=1}^{M}T(x;{\theta }_m)$

6.1 BDT算法

1 确定初始提升树$f_0(x)=0$
2 第m步的模型：$f_m(x)=f_{m-1}(x)+T(x;{\theta }_m)$
$f_{m-1(x)}$是当前模型，通过经验风险极小化确定下一颗决策树的参数${\theta }_m$：$\widehat{{\theta }_m}=argmi{n}_{{\theta }_m}{\sum }_{i=1}^{N}L(y_i,f_{m-1}(x_i)+T(x_i;{\theta }_m))$

决策树模型。将X划分为J个互不相交的区域R1,R2…RJ。并且在每个空间上确定输出常量$c_j$。那么树可以表示为$T(x;\theta )={\sum }_{j=1}^J{c}_{j}I(x\in R_j)$

针对不同问题的提升树，使用的函数不同。回归问题使用平方误差损失；分类问题使用指数损失函数。

当使用平方误差损失函数的时候，
$$\begin{gathered} L(y,f(x))=(y-f(x){)}^2 \\ =[y-f_{m-1}(x)-T(x;\theta ){]}^2 \\ =[r-T(x;\theta ){]}^2 \end{gathered}$$
其中$r=y-f_{m-1}(x)$，这可以理解为是在之前模型的残差上学习当前树模型。可以认为当前模型学习的不是y，而是y减去上一次模型已经学好部分，也就是说学习的是上一次模型的残差。每一次学习，学得是之前的模型没有学习好的部分。

6.2 回归问题提升树

输入：训练数据集$T=\{(x_1,y_1),(x_2,y_2)...(x_N,y_N)\}$，$y_i\in y$是一个R
输出：提升树$f_M(x)$

1 初始化$f_0(x)=0$
2 对m=1,2…M
$f_m(x)=f_{m-1}(x)+T(x;{\theta }_m)$,m=1,2,3…M
计算残差：$L(y,f(x))=(y-f(x){)}^2=[y-f_{m-1}(x)-T(x;\theta ){]}^2=[r-T(x;\theta ){]}^2$
其中$r=y-f_{m-1}(x)$。这是因为对于第m轮，$f_{m-1}(x)$是一个已知的值。

拟合残差学习一个回归树，得到$T(x;\theta )$。拟合残差的过程就是求得:
$\widehat{{\theta }_m}=argmi{n}_{{\theta }_m}{\sum }_{i=1}^{N}L(y_i,f_{m-1}(x_i)+T(x_i;{\theta }_m))=argmi{n}_{{\theta }_m}[r-T(x;\theta ){]}^2$
使得损失函数最小的参数$\theta$。

更新$f_m(x)=f_{m-1}(x)+T(x;\theta )$

3 得到回归问题提升树:$f_M(x)={\sum }_{m-1}^{M}T(x;\theta )$

7 梯度提升决策树GBDT

BDT使用一阶梯度学习得到最优参数，称为GBDT。

BDT每次学习的是残差。GBDT是使用f(x)的一阶梯度来学习参数。

利用损失函数的负梯度更新模型：直接对f(x)求偏导，而不是对f(x)的参数$\theta$求偏导。

为什么使用梯度学习参数？
1 函数f(x)，是一个从X空间到Y空间的一个映射。这个f(x)可能有很多个。所有的f(x)构成一个假设空间，我们需要从假设空间中查找一个最优的f(x)作为最终的映射。寻找方法可以是平方误差损失最小，或者指数损失函数最小。
2 一般我们在查找最优的f(x)的时候，是通过f(x)的参数空间去寻找，找到最优的参数，就找到了最优的f(x)。例如假设f(x)=wx+b，那么就是寻找使得损失函数最小的w和b。
这是一般情况。
$w^{\ast }=argmi{n}_{w}L(w)$
$\frac{\partial L(w)}{\partial x}=0=>w\ast =w-\alpha \frac{\partial L(w)}{\partial x}$

找到$w^{\ast }$，找到最优的f(x)。
那是不是可以直接在假设空间学习f(x)？也是就是$\frac{\partial L(y,f(x))}{\partial f(x)}$
计算过程就是假设，$\frac{\partial L(y,f(x))}{\partial f(x)}=0$
$f^{\ast }=f-\alpha \frac{\partial L(y,f(x))}{\partial f(x)}$
假设学习率$\alpha =1$，那么就是$f^{\ast }=f-\frac{\partial L(y,f(x))}{\partial f(x)}$，也就是函数f(x)-函数的梯度。
最终就变成了使用f(x)梯度的负值，来拟合学习f(x)。

看我们的决策树：$T(x;\theta )={\sum }_{j=1}^J{c}_{j}I(x\in R_j)$就没有参数。
下一个问题：$\frac{\partial L(y,f(x))}{\partial f(x)}$等于什么？使用均方误差，第m-1步的时候：$L(y,f_{m-1}(x))=\frac{1}{2}(y-f_{m-1}(x){)}^2$
那么：$\frac{\partial L(y,f(x))}{\partial f_{m-1}(x)}=-(y-f_{m-1}(x))$

梯度提升算法：

8 极限梯度提升XGboost

$$\begin{gathered} XGBoost=eXtreme+GBDT \\ =eXtreme+（Gradient+BDT） \\ =eXtreme+Gradient+(Boosting+DecisionTree) \end{gathered}$$

8.1 GBDT的问题

GBDT的问题是：1 使用一阶梯度，我们知道如果可以使用二阶梯度那结果会更加准确。2 训练方式是使得经验风险最小化，这就可能会出现过拟合。需要加入正则化项。

8.2 重新定义树模型

训练数据集$D=\{(X_i,y_i)\}$，其中$X_i\in R^m$，$y_i\in R$，|D|=n
决策树模型：$f(X)=w_{q(X)}$。
其中q:$R^m$->{1,2,3…T}，也就是X到决策树叶子节点编号的映射。$w\in R^T$，是叶子节点向量。T为决策树叶子节点数量。$\vec{w}=(w^{(1)},w^{(2)}...w^{(T)}{)}^T$，每一个元素是叶子节点的预测输出。

这个模型的含义就是：首先有输入$X_i$，通过q(X)能够得到叶子节点的编号t。其次，通过访问w[t]能够得到这个叶子节点的预测输出。从而完成从$X_i$到输出。

而之前的决策树模型定义为$T(X)={\sum }_{j=1}^J{c}_{j}I(X\in R^j)$
为什么要重新定义决策树？是为了后面做二阶梯度降低难度。这是xgboost第一个精彩的地方。

8.3 提升决策树

提升决策树模型：$\widehat{y_i}=\varphi (X_i)={\sum }_{k=1}^K{f}_k(X_i)$，其中$f_k(x)$为第k颗决策树。
正则化目标函数：$L(\varphi )={\sum }_{i=1}^{n}l(y_i,\widehat{y_i})+{\sum }_k\Omega (f_k)$，
其中$\Omega (f_k)=\gamma T+\frac{1}{2}\lambda ||w|{|}^2=\gamma T+\frac{1}{2}\lambda {\sum }_{j=1}^T{w}_j^2$，$\hat{y}$表示模型的最终输出

也就是加入正则化项。对树的规模T，以及树的输出$w_j$都做了限制。无论模型多么复杂，我们都可以通过约束其系数，降低模型复杂度。

第t轮目标函数(这里还是使用前向算法)，也就是$f_t$这颗树的正则化目标函数：
$L^{(t)}={\sum }_{i=1}^{n}l(y_i,{\widehat{y_i}}^{(t-1)}+f_t(X_i))+\Omega (f_t)$
这个公式包含第一部分第t轮的损失，第t轮模型的预测=${\hat{y}}_i^{(t-1)}+f_t(X_i)$(这个公式来源于加法模型)。第二部分第t轮的模型复杂度。
模型中只有${\hat{y}}^{(t-1)}$是变量。为什么？当在计算第t步的时候，$f_t$还是未知的，对一个函数求偏导肯定是需要知道其形式的，所以只能对$f_{t-1}$求偏导，${\hat{y}}^{(t-1)}=f_t(x)$。所以是对${\hat{y}}^{(t-1)}$求偏导。

根据泰勒公式展示二阶：
$$\begin{array}{c}\begin{array}{rl}{L}^{(t)}& \approx \sum _{i=1}^n[l(y_i,{\hat{y}}^{(t-1)})+{\partial }_{{\hat{y}}^{(t-1)}}l(y_i,{\hat{y}}^{(t-1)})f_t(x_i)+\frac{1}{2}{\partial }_{{\hat{y}}^{(t-1)}}^{2}l(y_i,{\hat{y}}^{(t-1)})f_t^2(x_i)]+\Omega (f_t)\\ & =\sum _{i=1}^n[l(y_i,{\hat{y}}_t^{(h-1)})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\Omega (f_t)\end{array}\end{array}$$
其中，$g_i={\partial }_{{\hat{y}}^{(t-1)}}l(y_i,{\hat{y}}^{(t-1)})$,$h_i={\partial }_{{\hat{y}}^{(t-1)}}^{2}l(y_i,{\hat{y}}^{(t-1)})$

这部分使用的泰勒展开公式。
f(x)在$x_0$出的二阶泰勒展开公式是：$f(x)\approx f(x_0)+f^{{}^{\prime }}(x_0)(x-x_0)+f^{{}^{\prime \prime }}(x_0)\frac{(x-x_0)}{2}$
在上面式子中l就是f，${\hat{y}}^{(t-1)}$是$x_0$，$x-x_0=f_t(x_i)$

移除常数项之后：

这个式子中的第一部分是对数据集的遍历，第二部分是对叶子节点的遍历。这种方式不利于计算。
我们考虑对于数据集的遍历，对于每一条数据最终肯定分到某个叶子节点了。所以可以把对数据集的遍历转为对叶子节点的遍历：
定义叶子节点j上的样本的下标集合 I j = { i ∣ q ( X j ) = j } I_j=\{i|q(X_j)=j\} Ij​={i∣q(Xj​)=j}，那么

举个例子。例如我们班有50名同学。班级有5个小组，每个同学属于一个小组。那如果想点名，叫到每个同学一次。我们可以按照花名册，从1到50点名。我们也可以按照小组，从第1组点到第5组，这样也可以完成对所有同学的点名。

这相当于xgboos第二个精彩的地方。

由于 $w_j^{\ast }=argmi{n}_{w_j}{\tilde{L}}^{(t)}$
令$\frac{\partial {\tilde{L}}^{(t)}}{\partial w_j}=0$，
得到每个叶子节点最优的输出值：$w_j^{\ast }=-\frac{{\sum }_{i\in I_j}{g}_i}{{\sum }_{i\in I_j}{h}_i+\lambda }$
$g_i$，$h_i$是关于t-1轮的函数，所以是可以计算得到的。
带回到上面的式子得到损失函数:

这就是当模型迭代到第t步的时候，模型的损失。

8.4 节点分裂依据

那怎么确定T呢？在这里以损失函数作为树分裂的依据。假设依据某个特征以及值分裂后得到$I_L$和$I_R$左右两个实例集。令$I=I_L+I_R$，则分裂之后的损失减少量：
这个可以作为依据评估待分裂节点。
回顾一下ID3，ID4 ，Cart树分别以信息增益、信息增益比、基尼指数作为分裂依据。
这个式子觉得符号有问题？

具体分裂查找的精确贪婪算法：

特征维度有d个。
第一层先遍历特征维度k从1到d。
根据第k个特征的值，把所有数据集排序。
按照排序后到的数据集遍历，遍历到第j个数据，按照$x_{j}k$将数据集分为两部分。
分别计算两部分的损失值。
score保存最大的损失值差。
最终以score最大时候的特征k以及数值$x_{j}k$作为树分裂的依据。

因为这里是贪婪算法，所以得到的是局部最优解。

9 总结

Adaboost = 加法模型 + 前向算法（调整每一轮数据权重）
boostingTree(提升树) = 加法模型+前向算法(最小化经验风险)
BDT(提升决策树) = 加法模型(基函数=决策树，权重系数=1) + 前向算法 (最小化经验风险)
GBDT(梯度提升决策树) = 加法模型(基函数=决策树，权重系数=1) + 前向算法 (最小化经验风险,对f(x)求导)

GBDT回归树：平方损失函数
GBDT分类树：BinomialDeviance