TASK11 XGBoost

XGBoost原理及其实战

XGBoost的思想

假设我们的数据集是 D = { ( x i , y i ) } ( ∣ D ∣ = n , x i ∈ R m , y i ∈ R ) \mathcal{D}=\left\{\left(\mathbf{x}_{i}, y_{i}\right)\right\}\left(|\mathcal{D}|=n, \mathbf{x}_{i} \in \mathbb{R}^{m}, y_{i} \in \mathbb{R}\right) D={(xi​,yi​)}(∣D∣=n,xi​∈Rm,yi​∈R)

STEP1：构造目标函数

假设有K棵树，则第i个样本的输出为$${\hat{y}}_i=\varphi \left({\mathrm{x}}_i\right)=\sum _{k=1}^K{f}_k\left({\mathrm{x}}_i\right),f_k\in \mathcal{F}$$
其中，$\mathcal{F}=\left\{f(\mathbf{x})=w_{q(\mathbf{x})}\right\}\left(q:{\mathbb{R}}^m\to T,w\in {\mathbb{R}}^T\right)$

因此，目标函数的构建为：
$$\mathcal{L}(\varphi )=\sum _{i}l\left({\hat{y}}_i,y_i\right)+\sum _k\Omega \left(f_k\right)$$

其中，${\sum }_{i}l\left({\hat{y}}_i,y_i\right)$为loss function，${\sum }_k\Omega \left(f_k\right)$为正则化项。

STEP2: 迭代训练

我们给定初始解为$x_i$，${\hat{y}}_i^{(0)}=0$

则可以构造迭代序列为
$${\hat{y}}_i^{(K)}={\hat{y}}_i^{(K-1)}+f_K(x_i)$$
其中，$ \hat{y}_i^{(K-1)} $ 为前K-1棵树的预测结果，$ f_K(x_i)$ 为第K棵树的预测结果。

将迭代序列代进目标函数得到
$${\mathcal{L}}^{(K)}=\sum _{i=1}^{n}l\left({\hat{y}}_i^{(K-1)}+f_K\left({\mathrm{x}}_i\right),y_i\right)+\sum _k\Omega \left(f_k\right)$$

注：一般的loss fuction 没有规定必须满足对称性，原教案这个地方的顺序要注意一下

同理，正则化项也可以写成迭代方程的形式
$$\sum _k\Omega \left(f_k\right)=\sum _{k=1}^{K-1}\Omega \left(f_k\right)+\Omega \left(f_K\right)$$
即 第$K$棵树的复杂度是由前面的$K-1$棵树累加再加上当前的复杂度得到的。

在模型构建到第K棵树的时候已经固定，无法改变，因此是一个已知的常数，可以在最优化的时候省去，故：
$${\mathcal{L}}^{(K)}=\sum _{i=1}^{n}l\left({\hat{y}}_i^{(K-1)}+f_K\left({\mathrm{x}}_i\right),y_i\right)+\Omega \left(f_K\right)$$

STEP3: 利用$Taylor$展开近似loss function

我们对loss function对第$i$个样本进行二阶泰勒展开，可以得到
$$l\left(y_i,{\hat{y}}_i^{(K-1)}+f_K\left({\mathrm{x}}_i\right)\right)$$
因为本质上loss function是个复合函数，所以一阶导数为
$$l^{\prime }=({\partial }_{\hat{y}(K-1)}l\left(y_i,{\hat{y}}^{(t-1)}\right))f_K\left({\mathrm{x}}_i\right)$$
本来应该有两项，但第一项$y_i$为标量，故导数为0.

二阶导数为
$$l^{\prime \prime }=\frac{{\partial }^{2}l\left(y_i,{\hat{y}}^{(K-1)}\right)}{\partial ({\hat{y}}^{(K-1)}{)}^2}{f}_K^2\left({\mathrm{x}}_i\right)$$

所以，
$${\mathcal{L}}^{(K)}\simeq \sum _{i=1}^n\left[l\left(y_i,{\hat{y}}^{(K-1)}\right)+g_i{f}_K\left({\mathrm{x}}_i\right)+\frac{1}{2}{h}_i{f}_K^2\left({\mathrm{x}}_i\right)\right]+\Omega \left(f_K\right)$$

由于${\sum }_{i=1}^{n}l\left(y_i,{\hat{y}}^{(K-1)}\right)$在模型构建到第K棵树的时候已经固定，无法改变，因此是一个已知的常数，可以在最优化的时候省去，故：
$${\tilde{\mathcal{L}}}^{(K)}=\sum _{i=1}^n\left[g_i{f}_K\left({\mathbf{x}}_i\right)+\frac{1}{2}{h}_i{f}_K^2\left({\mathbf{x}}_i\right)\right]+\Omega \left(f_K\right)$$

STEP4:树的定义

由于模型复杂度$\Omega \left(f_K\right)$
由叶子节点的个数以及节点函数值来构建，则：
$$\Omega \left(f_K\right)=\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2$$
即这里采用$L_2$正则化，$T$代表叶节点个数，$w_j$代表叶节点的预测值。第$K$棵树的复杂度由叶节点个数和叶节点的预测值来衡量。叶节点越多树越复杂。

这里补充一下正则化的理论，参考文献为[机器学习中正则化项L1和L2的直观理解:https://blog.csdn.net/jinping_shi/article/details/52433975]

代入目标函数得到：
$$\begin{array}{rl}{\tilde{\mathcal{L}}}^{(K)}& =\sum _{i=1}^n\left[g_i{f}_K\left({\mathrm{x}}_i\right)+\frac{1}{2}{h}_i{f}_K^2\left({\mathrm{x}}_i\right)\right]+\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2\\ & =\sum _{j=1}^T\left[\left(\sum _{i\in I_j}{g}_i\right)w_j+\frac{1}{2}\left(\sum _{i\in I_j}{h}_i+\lambda \right)w_j^2\right]+\gamma T\end{array}$$
由于我们的目标就是最小化目标函数，现在的目标函数化简为一个关于w的二次函数：${\tilde{\mathcal{L}}}^{(K)}={\sum }_{j=1}^T\left[\left({\sum }_{i\in I_j}{g}_i\right)w_j+\frac{1}{2}\left({\sum }_{i\in I_j}{h}_i+\lambda \right)w_j^2\right]+\gamma T$，根据二次函数求极值的公式：$y=a{x}^{2}bxc$求极值，对称轴在$x=-\frac{b}{2a}$，极值为$y=\frac{4ac-b^2}{4a}$，因此：
$$w_j^{\ast }=-\frac{{\sum }_{i\in I_j}{g}_i}{{\sum }_{i\in I_j}{h}_i+\lambda }$$
以及
$${\tilde{\mathcal{L}}}^{(K)}(q)=-\frac{1}{2}\sum _{j=1}^T\frac{{\left({\sum }_{i\in I_j}{g}_i\right)}^2}{{\sum }_{i\in I_j}{h}_i+\lambda }+\gamma T$$

STEP5:使用目标函数的变化来作为分裂节点的标准

分割节点的标准为 m a x { L ~ ( o l d ) − L ~ ( n e w ) } max\{\tilde{\mathcal{L}}^{(old)} - \tilde{\mathcal{L}}^{(new)} \} max{L~(old)−L~(new)}，即：
$${\mathcal{L}}_{\text{split }}=\frac{1}{2}\left[\frac{{\left({\sum }_{i\in I_L}{g}_i\right)}^2}{{\sum }_{i\in I_L}{h}_i+\lambda }+\frac{{\left({\sum }_{i\in I_R}{g}_i\right)}^2}{{\sum }_{i\in I_R}{h}_i+\lambda }-\frac{{\left({\sum }_{i\in I}{g}_i\right)}^2}{{\sum }_{i\in I}{h}_i+\lambda }\right]-\gamma$$

LightGBM

LightGBM是一款基于GBDT（梯度提升决策树）算法的分布式梯度提升框架，为了满足缩短模型计算时间的需求，LightGBM的设计思路主要集中在减小数据对内存与计算性能的使用，以及减少多机器并行计算时的通讯代价。

LightGBM可以看作是XGBoost的升级豪华版，在获得与XGBoost近似精度的同时，又提供了更快的训练速度与更少的内存消耗。正如其名字中的Light所蕴含的那样，LightGBM在大规模数据集上跑起来更加优雅轻盈。

LightGBM的主要优点：

1. 简单易用。提供了主流的Python\C++\R语言接口，用户可以轻松使用LightGBM建模并获得相当不错的效果。
2. 高效可扩展。在处理大规模数据集时高效迅速、高准确度，对内存等硬件资源要求不高。
3. 鲁棒性强。相较于深度学习模型不需要精细调参便能取得近似的效果。
4. LightGBM直接支持缺失值与类别特征，无需对数据额外进行特殊处理

LightGBM的主要缺点：

1. 相对于深度学习模型无法对时空位置建模，不能很好地捕获图像、语音、文本等高维数据。
2. 在拥有海量训练数据，并能找到合适的深度学习模型时，深度学习的精度可以遥遥领先LightGBM。