XGBoost + Boosting 原理简介

XGBoost原理简介

1. 背景

今天听了贪心学院主办，李文哲老师主讲的《XGBoost的技术剖析》直播，让我对XGB的原理有了一些了解。于是我想写一篇笔记整理一下听课的内容。

老师讲得挺通俗易懂的，不过由于XGB本身具有一定的复杂性，要看懂这篇笔记需要有如下的背景知识：

1. 决策树的原理
2. 泰勒级数
3. 损失函数
4. 惩罚函数

如果对这些概念不太了解，推荐阅读复旦大学邱锡鹏老师的开源书《神经网络与深度学习》还有人民邮电出版社的《机器学习实战》，泰勒级数可以参考高数课本和网络资料。

2. Boosting

从 XGBoost 这个名字就能看出来，这个模型使用了 Boosting 的方法，那么我们就来先了解一下 Boosting 它是个啥玩意儿。

$$\text{Figure 1. Bagging vs Boosting}$$

老师的PPT中对比了 Bagging 和 Boosting 两种常用的集成学习方法。

• Bagging：利用多个过拟合的弱学习器来获得更好的效果。典型的算法有随机森林。

• Boosting：利用多个欠拟合的弱学习器来获得更好的效果。典型的算法有GBDT/GBRT，Adaboost，XGBoost和LightGBM。

Boosting 本身在不同算法中的具体应用也不完全相同，而从 XGBoost ¹的论文 中我们能够了解到，它主要借鉴了 GBDT 的 Boosting 方法

为了加深对 Boosting 的了解，我把 GBDT ² 的论文也找出来看了一下。

2.1. 建立映射

首先，我们通过公式$(1)$建立从 $\mathbf{x}$ 到 $y$ 的映射。

y ^ = F ( x ; { β m , a m } 1 M ) = ∑ m = 1 M β m h ( x ; a m ) (1) \widehat{y} = F\left(\mathbf{x} ;\left\{\beta_{m}, \mathbf{a}_{m}\right\}_{1}^{M}\right)=\sum_{m=1}^{M} \beta_{m} h\left(\mathbf{x} ; \mathbf{a}_{m}\right) \tag{1} y ​=F(x;{ βm​,am​}1M​)=m=1∑M​βm​h(x;am​)(1)

这里的 $\mathbf{x}$ 和 ${\mathbf{a}}_m$ 用粗体显示，表示它们都是向量，$\hat{y}$ 表示模型的预测值。

公式$(1)$中的 $h\left(\mathbf{x};{\mathbf{a}}_m\right)$ 表示一个个弱分类器， ${\mathbf{a}}_m$ 是弱分类器的参数，${\beta }_m$ 是其权重， { β m , a m } 1 M \left\{\beta_{m}, \mathbf{a}_{m}\right\}_{1}^{M} { βm​,am​}1M​ 是 ${\mathbf{a}}_m$ 和 ${\beta }_m$ 的 $M$ 个组合。$M$表示弱分类器的数量。

公式$(1)$表示 GBDT 是通过对多个弱分类器结果进行线性加权求和从而求出最终结果的。

2.2. 计算参数

建立了$\mathbf{x}$ 到 $y$ 的映射之后，我们就需要考虑如何去计算函数中的参数。

$$\left({\beta }_m,{\mathbf{a}}_m\right)=\arg \underset{\beta ,\mathbf{a}}{\min }\sum _{i=1}^{N}L\left(y_i,F_{m-1}\left({\mathbf{x}}_i\right)+\beta h\left({\mathbf{x}}_i;\mathbf{a}\right)\right)\text{\hspace{1em}(2)}$$

公式 $(2)$ 中，$\arg \underset{\beta ,\mathbf{a}}{\min }$ 表示使其右边的表达式最小的 $(\beta ,\mathbf{a})$ 组合，$L(y_i,\widehat{y_i})$ 为损失函数。

公式 $(2)$ 说明参数 $\left({\beta }_m,{\mathbf{a}}_m\right)$是通过使得损失函数最小化计算出来的，具体如何计算就取决于我们使用什么具体的损失函数和优化器了。

同时， 我们还可以推出公式 $(3)$。

$$F_m(\mathbf{x})=F_{m-1}(\mathbf{x})+{\beta }_{m}h\left(\mathbf{x};{\mathbf{a}}_m\right)\text{\hspace{1em}(3)}$$

公式 $(3)$ 中 $F_m(\mathbf{x})$ 是训练完 $m$ 个弱分类器以后，模型的输出结果。

公式 $(3)$ 说明 GBDT 在训练每第 $m$ 个弱分类器时，我们需要先将前 $m-1$ 个弱分类器的预测结果求和，从而获得一个新的预测结果，在此基础上对第 $m$ 个弱分类器进行训练和预测。即新的弱分类器是在已有模型的残差上进行训练的。

可理解为如下公式。

$${\beta }_{m}h\left(\mathbf{x};{\mathbf{a}}_m\right)\to (y_i-\sum _{k=1}^{m-1}{\beta }_{k}h\left(\mathbf{x};{\mathbf{a}}_k\right))\text{\hspace{1em}(4)}$$

即第 $m$ 个弱分类器的训练目标是输出趋近于 $y_i$ 和 前$m-1$ 个弱分类器的结果之和的差值。

再结合老师PPT中的例子，应该就能够很好地理解 Boosting 的作用。

$$\text{Figure 2. Boost Tree}$$

$$\text{Figure 3. Model Predict}$$

3. XGBoost的目标函数

了解了 Boosting 之后，我们就可以开始学习 XGBoost 了，首先从它的目标函数开始分析。

$$\text{Figure 4. Object Function}$$

我们一般使用树模型来作为弱分类器，假设有 $K$ 颗树，对第 $i$ 个输入，它们的预测值为 $\hat{y}$