机器学习之决策树终极分类器：XGBoost

导读：
XGBoost被认为是各类赛事排名第一的算法
Ensenble是集成算法，分为两类：bagging和boosting
bagging：每个人都是专家（List of experts），容易过拟合；把多个拼接到一起，降低方差，即模型的稳定性
boosting：每个人都是普通人（List of weak learners），容易欠拟合

XGBoost

1.优势：

1. 速度和表现可以超过大部分机器学习模型；
2. 可以并行化计算
3. 有大量可调节参数，例如$\gamma$，$\lambda$

2.学习路径：

1. 如何构造目标函数(Objective function)
2. 如何近似目标函数(Objective function,优化，求最小/最大值)
3. 如何引入树到目标函数，改造目标函数
4. 如何使用贪心算法构造树

其中 从1到2使用了泰勒展开式

1.构造目标函数

假设有$K$棵树：
$$\widehat{y_i}=\sum _{k=1}^K{f}_k(x_i),f_k\in \mathcal{F}\text{\hspace{1em}(1)}$$
目标函数：
$$Obj=\sum _{i=1}^{n}l(y_i,\widehat{y_i})+\sum _{k=1}^K\Omega (f_k)\text{\hspace{1em}(2)}$$

Additive Training

1. 第零个树的预测值：${\widehat{y_i}}^{(0)}=0$ ---------base case
2. 第一个树的预测值：${\widehat{y_i}}^{(1)}=f_1(x_i)={\widehat{y_i}}^{(0)}+f_1(x_i)$
3. 第二个树的预测值：${\widehat{y_i}}^{(2)}=f_1(x_i)+f_2(x_i)={\widehat{y_i}}^{(1)}+f_2(x_i)$
4. 第三个树的预测值：${\widehat{y_i}}^{(3)}=f_1(x_i)+f_2(x_i)+f_3(x_i)={\widehat{y_i}}^{(2)}+f_3(x_i)$
   ……
5. 第t个树的预测值：${\widehat{y_i}}^{(t)}={\sum }_{k=1}^t{f}_k(x_i)={\widehat{y_i}}^{(t-1)}+f_t(x_i)$

训练第i棵树时，例如第2棵树$f_2(x_i)$，要拟合残差，即真实值和已有的预测之差：$y_i-{\widehat{y_1}}^{(1)}$。

下面就是构造目标函数：
第$t$轮的预测值为：${\widehat{y_t}}^{(t)}={\widehat{y_t}}^{(t-1)}+f_t(x_i)$，其中${\widehat{y_t}}^{(t-1)}$为从第1…t-1棵树的预测结果，要训练第t棵树$f_t(x_i)$使得最终总的预测值${\widehat{y_t}}^{(t)}$与真实值$y_i$之间的差距要尽可能的小。故我们可以根据这一点构造目标函数。

目标函数$Obj$
$$\begin{gathered} Ob{j}^{(t)}=\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t)})+\sum _{i=1}^t\Omega (f_i) \\ =\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t-1)}-f_t(x_i))+\Omega (f_t)+constant\text{\hspace{1em}(3)} \end{gathered}$$
第二项为每棵树的复杂度，即${\sum }_{i=1}^t\Omega (f_i)={\Omega }_1+{\Omega }_2+\cdots +{\Omega }_t$，其中前t-1棵树的复杂度已知，故可以看作常数，提出来。另外把$t$时刻的预测值${\widehat{y_t}}^{(t)}$的表达式代入上式，并考虑平方误差损失函数（Square Loss）,$l$变为：
$$Ob{j}^{(t)}=\sum _{i=1}^n{\left(y_i-({\hat{y}}_i^{(t-1)}-f_t(x_i))\right)}^2+\Omega (f_t)+constant\text{\hspace{1em}(4)}$$
把所有不含$f_t(x_i)$的项（因为都是已知项，例如$y_i^2$、$-2y_i{\hat{y}}_i^{(t-1)}$等等）都提出来，放到$constant$里，得：
$$Ob{j}^{(t)}=\sum _{i=1}^n\left[2({\hat{y}}_i^{(t-1)}-y_i)f_t(x_i)+f_t(x_i{)}^2\right]+\Omega (f_t)+constant\text{\hspace{1em}(5)}$$
目标是最小化真实值$y_i$和前$t$棵树的预测${\hat{y}}_i^{(t)}$之差，$(5)$式只是演示一下当是回归问题时应该怎么变换，下面还是回到最开始的$(3)$式。

2.近似目标函数

利用泰勒展开式：
$$f(x+\Delta x)=f(x)+f^{\prime }(x)\Delta x+\frac{1}{2}{f}^{\prime \prime }(x)\Delta x^2+\cdots$$
回到最开始的例子，即$(3)$式：
$$Ob{j}^{(t)}=\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))+\Omega (f_t)+constant$$
把$l(y_i,{\hat{y}}_i^{(t-1)})$看做$f(x)$，$f_t(x_i)$看做$\Delta x$，上式利用泰勒展开为：
$$Ob{j}^{(t)}=\sum _{i=1}^n\left[l(y_i,{\hat{y}}_i^{(t-1)})+{\partial }_{{\hat{y}}^{(t-1)}}l(y_i,{\hat{y}}_i^{(t-1)})f_t(x_i)+\frac{1}{2}{\partial }_{{\hat{y}}^{(t-1)}}^{2}l(y_i,{\hat{y}}_i^{(t-1)})f_t^2(x_i)\right]+\Omega (f_t)+constant\text{\hspace{1em}(6)}$$
若把${\partial }_{{\hat{y}}_i^{(t-1)}}l(y_i,{\hat{y}}_i^{(t-1)})$看作$g_i$，把${\partial }_{{\hat{y}}_i^{(t-1)}}^{2}l(y_i,{\hat{y}}_i^{(t-1)})$看作$h_i$，并把常数项放到constant里，上式变为
$$Ob{j}^{(t)}\simeq \sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\Omega (f_t)+constant\text{\hspace{1em}(7)}$$
下面推导如何表达树的复杂度$\Omega (f_t)$

3.如何引入树到目标函数，改造目标函数

重新定义一棵树，采用结果导向，
f t ( x ) = ω q ( x ) , ω ∈ R T , q : R d → { 1 , 2 , . . . , T } f_{t}(x) = \omega_{q(x)},\omega \in R^{T}, q: R^{d} \rightarrow \{1,2,...,T\} ft​(x)=ωq(x)​,ω∈RT,q:Rd→{1,2,...,T}
输入的x是一个object，可能是boy，可能是gril，也可能是old man，函数q返回的是一个index，例如下图，输入x=boy，q(boy) = 1，即男孩的下标是1，男孩输入第一个叶子节点。q(gril) = 2，即女孩的下标是2，女孩输入第二个叶子节点，而$\omega$返回的是预测值。故$\omega$和$q$是需要学出来的。

一共有以下几个参数需要学习：
1.参数T，即T个叶子节点；
2.$\omega$，针对每个叶子节点的预测值，一个T维的向量；
3.$q$，给定一个object，返回一个index

下面要针对每棵树，找到3个参数的最优值。

树的复杂度
$$\Omega (f_t)=\gamma T+\frac{1}{2}\sum _{j=1}^T{\omega }_j^2$$
上式中第一项为叶子节点的个数，$\gamma$为此项权重，第二项为L2的正则，$\lambda$为此项权重，两项相加为该树的复杂度，希望复杂度是越小越好。

如上图所示，计算该树的复杂度$\Omega$，此时T=3，因为是3个叶子节点，叶子节点1的得分$\omega$是+2，平方是4；叶子节点2的得分$\omega$是0.1，平方是0.01，叶子节点3的得分$\omega$是-1，平方是1，将它们3个加起来，得到该树的复杂度

4.使用贪心算法构造树

回到最开始的目标函数，$(7)$式
$$Ob{j}^{(t)}\simeq \sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\Omega (f_t)+constant\text{\hspace{1em}(7)}$$
其中$g_i={\partial }_{{\hat{y}}_i^{(t-1)}}l(y_i,{\hat{y}}_i^{(t-1)})$，$h_i={\partial }_{{\hat{y}}_i^{(t-1)}}^{2}l(y_i,{\hat{y}}_i^{(t-1)})$，分别代表一阶导数和二阶导数。

把$(7)$式做如下变换，见下图所示

换一种定义的方式，按每个叶子节点中的元素集合可以定义为 I j = { i ∣ q ( x i ) = j } I_{j} = \{i|q(x_{i}) = j\} Ij​={i∣q(xi​)=j}，即把同一个叶子节点中的元素放到一起，例如 I 1 = { 1 , 3 } I_{1} = \{1,3\} I1​={1,3}， I 2 = { 2 , 5 , 6 } I_{2} = \{2,5,6\} I2​={2,5,6}， I 3 = { 7 } I_{3} = \{7\} I3​={7}， I 4 = { 4 , 8 } I_{4} = \{4,8\} I4​={4,8}
$$\begin{gathered} Ob{j}^{(t)}\simeq \sum _{i=1}^n\left[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)\right]+\Omega (f_t) \\ =\sum _{i=1}^n\left[g_i{\omega }_{q(x)}+\frac{1}{2}{h}_i{\omega }_{q(x)}^2\right]+\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{\omega }_j^2 \\ =\sum _{j=1}^T\left[(\sum _{i\in I_j}{g}_i){\omega }_j+\frac{1}{2}(\sum _{i\in I_j}{h}_i+\lambda ){\omega }_j^2\right]+\gamma T\text{\hspace{1em}(8)} \end{gathered}$$
通过第二个等号可以看出，原来是按每个样本累加的，现在先处理一个节点中的元素，再进行相加。即上式为按每个独立的叶子节点相加的二次方程。

5.求解新的目标函数

目标函数变成了二次方优化问题，此时由公式可得
$$argmi{n}_{x}Gx+\frac{1}{2}H{x}^2\stackrel{x=-\frac{b}{2a}}{=}-\frac{G}{H},mi{n}_{x}Gx+\frac{1}{2}H{x}^2=-\frac{1}{2}\frac{G^2}{H}$$
其中$argmi{n}_x$表示当式子取值最小时此时的自变量x的取值，由二次方程求最小值公式可知，当$x=-\frac{b}{2a}$时，此时式子有最小值。

定义$G_j={\sum }_{i\in I_j}{g}_i$，$H_j={\sum }_{i\in I_j}{h}_i$，$(8)$式变为：
$$=\sum _{j=1}^T\left[G_j{\omega }_j+\frac{1}{2}(H_j+\lambda ){\omega }_j^2\right]+\gamma T$$
故最好的${\omega }_j^{\star }$和对应的损失函数值为：
$${\omega }_j^{\star }=-\frac{G_j}{H_j+\lambda }Obj=-\frac{1}{2}\sum _{j=1}^T\frac{G_j^2}{H_j+\lambda }+\gamma T\text{\hspace{1em}(9)}$$

6.叶子节点分裂方式

节点分裂的依据就可以参照上面的目标函数最终形式，来求分裂前后相差最大的特征，即最大化下式：
$$Gain=\frac{1}{2}[\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_R+\lambda }-\frac{(G_L+G_R{)}^2}{H_L+H_R+\lambda }]-\gamma$$