XGBoost: A Scalable Tree Boosting System

[ 论文阅读地址 ]

1. 背景知识介绍

函数的风险

　　给定关于$X$ 和$Y$ 的空间，学习一个函数$h:X\to Y$ ，函数的输入$x \in X$ ，输出$y \in Y$。要学习函数$h$，需要有样本：$(x_1, y_1), \dots (x_m, y_m)$ ，其中$x_i \in X, y_i \in Y$，我们的目标是学习到$h(x_i)$ 。
　　形式化的描述如下：假定$X$ 和$Y$ 服从概率分布$P(x, y)$ ，含有$m$ 个样本的训练集$(x_1, y_1), \dots (x_m, y_m)$ 是从分布$P(x, y)$ 依据独立同分布原则采样得来。这里关于概率分布$P(x, y)$ 的假设，使得我们可以对预测的不确定性进行建模，因为$y$ 并不是关于$x$ 的一个确定函数，而是一个随机变量，对于给定的$x$ ，服从分布$p(y|x)$ 。
　　同时也假设，已经有一个非负实数损失函数$L(\hat{y}, y)$ ，这个函数度量了预测值$\hat{y}$ 和实际值$y$ 的偏差大小。
　　关于$h(x)$ 的风险定义如下：

$$\begin{align} R(h) = \mathbf{E}[L(h(x), y)] = \int L(h(x), y)dP(x, y) \end{align}$$
　　学习问题的最终目标是，在固定的函数空间 $\mathcal{H}$ 中学习到这样的函数 $h^*$ ，使得 $R(h)$ 值最小化：
$$\begin{align} h^* = \arg \min_{h \in \mathcal{H}} R(h) \end{align}$$

经验风险最小化(Empirical risk minimization)

　　通常情况，由于分布$P(x, y)$ 是未知的，风险函数$R(h)$ 也是未知的。因此，我们使用经验风险作为对风险函数的近似：

$$\begin{align} R_{emp}(h) = \frac{1}{m}\sum_{i=1}^mL(h(x_i), y_i) \end{align}$$
　　经验风险最小化原则表明，我们要找的函数 $h^*$ 应满足：
$$\begin{align} h^* = \arg \min_{h \in \mathcal{H}} R_{emp}(h) \end{align}$$
　　因此，给予ERM的学习算法变成了解决如上的优化问题。

加法模型

　　加法模型定义如下：

$$\begin{align} f(x) = \sum_{m=1}^M\beta_mb(x;\gamma_m) \end{align}$$
　　其中， $b(x; \gamma_m)$ 为基函数， $\gamma_m$ 为基函数的参数， $\beta_m$ 为基函数的系数。
　　在给定训练数据及 $L(y, f(x))$ 的条件下，学习加法模型 $f(x)$ 成为经验风险极小化即损失函数极小化问题：
$$\begin{align} & \min_{\beta_m, \gamma_m}\sum_{i=1}^NL\left(y_i, f(x_i; \beta_m, \gamma_m)\right)\\ = &\min_{\beta_m, \gamma_m}\sum_{i=1}^NL\left(y_i, \sum_{m=1}^M\beta_mb(x_i; \gamma_m)\right) \end{align}$$

前向分布算法

　　由于对加法模型的求解是一个复杂的优化问题，因而采用前向分布算法来对加法模型进行求解。
　　前向分布算法的想法是：因为学习的是加法模型，如果能从前向后，每一步只学习一个基函数及其系数，逐步逼近优化目标函数式，那么就可以简化优化的复杂度。具体的，每步只需优化如下损失函数：

$$\begin{align} \min_{\beta, \gamma} \sum_{i=1}^NL(y_i, \beta b(x_i; \gamma)) \end{align}$$
　　给定训练数据集 $T = \{(x_1, y_1), (x_2, y_2), \dots, (x_N, y_N)\}$ ， $x_i \in \mathcal{X} \subseteq \mathbf{R}^n$ ， $y_i \in \mathcal{Y} = \{-1, +1\}$ 。损失函数 $L(y, f(x))$ 和基函数的集合 $\{b(x;\gamma)\}$ ，学习加法模型 $f(x)$ 的前向分布算法如下：

2.提升树(Boosting tree)

提升树模型介绍

提升树算法

3.梯度提升（Gradient boosting）

模型介绍

算法介绍

3.XGBoost

模型介绍

　　梯度提升算法中，使用了对函数的梯度来作为参数，这样就不能在使用传统的优化算法。因此，作者提出了xgboost以解决这一问题。先考虑如下的优化目标：

　　其中， $\hat{y}^{(t)}$ 是第i个样本在第t轮迭代时的预测值， $f_t(x_i)$ 是待求的参数。
　　这里，记 $F(x) = l(y_i, x)$ ，那么 $l(y_i, \hat{y}_i^{(t-1)} + f_t(x_i)) = F(\hat{y}_i^{(t-1)} + f_t(x_i))$ ，这里使用泰勒展开，取前三项近似得到 $F(\hat{y}_i^{(t-1)} + f_t(x_i)) \simeq F(\hat{y}_i^{(t-1)}) + F'(\hat{y}_i^{(t-1)}) * f_t(x_i) + \frac{1}{2}F''(\hat{y}_i^{(t-1)}) * f_t(x_i) * f_t^2(x_i)$，因此 $\mathcal{L}^{(t)}$ 中对函数的梯度，就转换成了 $F$ 函数对常数 $\hat{y}_i^{(t-1)}$ 的一阶、二阶导数。

---

参考李航著《统计学习方法》和此博客