XGBoost论文原理公式推导

目标函数

$$Obj(\Theta )=L(\Theta )+\Omega (\Theta )$$
其中$L(\Theta )$为损失（误差）函数，$\Omega (\Theta )$为正则化项。

模型

$$\begin{gathered} Obj(\Theta )=\sum _{i=0}^{n}l(y_i,{\hat{y}}_i)+\sum _{k=1}^K\Omega (f_k) \\ {\hat{y}}_i^t=\sum _{k=1}^t{f}_k(x_i)={\hat{y}}_i^{t-1}+f_t(x_i) \end{gathered}$$
前向加法模型

学习算法

第t步只学习$f_t$，则目标优化函数可写为
$$Obj(\Theta )=\sum _{i=0}^{n}l(y_i,{\hat{y}}_i^{t-1}+f_t(x_i))+\Omega (f_t)+constant$$

泰勒展开：
$$f(x+\Delta x)\approx f(x)+f^{\prime }(x)\Delta x+\frac{1}{2}{f}^{\prime \prime }(x)\Delta x^2$$
定义：
$$\begin{gathered} g_i=\frac{\partial l(y_i,{\hat{y}}^{t-1})}{\partial {\hat{y}}^{t-1}} \\ {h}_i=\frac{{\partial }^{2}l(y_i,{\hat{y}}^{t-1})}{\partial ({\hat{y}}^{t-1}{)}^2} \end{gathered}$$
则目标方程可以写为
$$Ob{j}^t=\sum _{i=1}^n[l(y_i,{\hat{y}}_i^{t-1})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_i^2(x_i)]+\Omega (f_t)+constant$$
将常数项去除，只留下与优化变量有关的项，其只依赖于每个数据点在误差函数上的一阶导数和二阶导数。
$$\sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_i^2(x_i)]+\Omega (f_t)$$

树结构

$f_t$可以看作是一个树结构，其叶子结构用q表示$q:R^d\to 1,2,...,T$，${\omega }_i$为叶子节点$i$对应的值。

定义树结构的复杂度如下，即正则化项：
$$\Omega (f_t)=\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{\omega }_j^2$$

核心算法

定义 I j = { i ∣ q ( x i ) = j } I_j=\{i|q(x_i)=j\} Ij​={i∣q(xi​)=j}表示属于叶子$j$的样本点
$$\begin{gathered} Ob{j}^t\approx \sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\Omega (f_t) \\ =\sum _{i=1}^n[g_i{\omega }_{q(x_i)}+\frac{1}{2}{h}_i{\omega }_{q(x_i)}^2]+\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{\omega }_j^2 \\ =\sum _{j=1}^T[(\sum _{i\in I_j}{g}_i){\omega }_j+\frac{1}{2}(\sum _{i\in I_j}{h}_i+\lambda ){\omega }_j^2]+\gamma T \end{gathered}$$
可以定义$G_j={\sum }_{i\in I_j}{g}_i$，$H_j={\sum }_{i\in I_j}{h}_i$，目标函数可以进一步写为如下函数，假设我们已知树的结构$q$，我们可以通过这个目标函数来求解最好的$\omega$
$$\begin{gathered} Ob{j}^t=\sum _{i=1}^2[(\sum _{i\in I_j}{g}_i){\omega }_j+\frac{1}{2}(\sum _{i\in I_j}{h}_i+\lambda ){\omega }_j^2]+\gamma T \\ =\sum _{j=1}^T[G_j{\omega }_j+\frac{1}{2}(H_j+\lambda ){\omega }_j^2]+\gamma T \end{gathered}$$
如上是一个求一维二次函数最小值问题，（$x^{\ast }=-\frac{b}{2a}$）
$$\begin{gathered} w{\ast }_j=-\frac{G_j}{H_j+\lambda } \\ Obj=-\frac{1}{2}\sum _{j=1}^T\frac{G_j^2}{H_j+\lambda }+\gamma T \end{gathered}$$
如上Obj越小，代表这个树结构越好。我们可以将其理解为基尼指数或信息增益。因此可以枚举出所有可能的树结构，然后用上述Obj评价指标去选择一颗最好的树，但是这样不可行，所以采用贪心法，在已有叶子节点的基础上尝试添加一个叶节点，观察是否可以获取最大收益，增益公式如下
$$Gain=\frac{1}{2}[\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_R+\lambda }-\frac{(G_L+G_R{)}^2}{H_L+H_R+\lambda }]-\gamma$$
如上式右边共四项，分别为左子树分数，右子树分数，不分割可以拿到的分数，加入一个新的叶子节点引入的复杂度代价。
我们可以枚举所有的特征与所有的可分割点，以此尝试选出最大增益Gain的可分割特征与分割点。但是由于引入正则化项，所以不一定构建一个新的叶子节点就一定会优于原树。