XGBoost

XGBoost目标函数推导

独特的目标函数

梯度提升算法中都存在着损失函数。不同于逻辑回归和 $SVM$ 等算法中固定的损失函数写法，集成算法中的损失函数是可选的，要选用什么损失函数取决于我们希望解决什么问题，以及希望使用怎样的模型。比如说，如果我们的目标是进行回归预测 ，那我们可以选择调节后的均方误差 $RMSE$ 作为我们的损失函数。如果我们是进行分类预测 那我们可以选择错误率 $error$ 或者对数损失 $los{s}_{log}$ 。只要我们选出的函数是一个可微的，能够代表某种损失的函数它就可以作为$XGB$ 的损失函数 。

在众多机器学习算法中，损失函数的核心是衡量模型的泛化能力，即模型在未知数据上的预测的准确性，我们训练模型的核心目标也是希望模型能够预测度。在$XGB$中，预测准确自然是非常重要的因素，$XGB$ 实现了模型表现和运算速度的平衡的算法。普通的损失函数，比如错误率，均方误差等，都只能够衡量模型的表现，无法衡量模型的运算速度。回忆一下，我们曾在许多模型中使用空间复杂度和时间复杂度来衡量模型的运算效率。$XGB$因此引入了模型复杂度来衡量算法的运算效率。因此$XGB$ 的目标函数被写作： 传统损失函数 + 模型复杂度 。

$Obj={\sum }_{i=1}^{m}l(y_i,{\hat{y}}_i)+{\sum }_{k=1}^K\Omega (f_k)$

上式中的 第一项用来衡量偏差 ，模型越不准确，第一项就会越大。 第二项是用来衡量方差 ，模型越复杂，模型的学习就会越具体，到不同数据集上的表现就会差异巨大，方差就会越大。所以我们求解的最小值，其实是在求解方差与偏差的平衡点，以求模型的泛化误差最小，运行速度最快。其中$i$代表数据集中的第$i$个样本，$m$表示导入第$k$棵树的数据总量，$K$代表建立的所有树。 第一项代表传统的损失函数 ，衡量真实标签$y_i$与预测值${\hat{y}}_i$之间的差异，通常是根据模型的用途进行选择。 第二项代表模型的复杂度 ，使用树模型的某种变换表示，这个变化代表了一个从树的结构来衡量树模型的复杂度的式子，可以有多种定义。注意，我们的 第二项中没有特征矩阵 的介入。我们在迭代每一棵树的过程中，都最小化来力求获取最优的，因此我们同时最小化了模型的错误率和模型的复杂度。

树模型和树的集成模型是天生的 过拟合 的模型，因此我们必须通过 剪枝 来控制模型不要过拟合。现在$XGB$的损失函数中的正则项自带限制方差变大的部分，也就是说 $XGB$会比其他的树模型更加聪明，不会轻易过拟合。

第一项传统损失函数看起来却只和样本量相关，其实并非如此，我们的第一项传统损失函数也是与已经建好的所有树相关的，相关在这里：

${\hat{y}}_i^{(t)}={\sum }_k^t{f}_k(x_i)={\sum }_k^{t-1}{f}_k(x_i)+f_t(x_i)$

优化XGB目标函数

1.用$GBDT$梯度提升树表达方式$XGB$

$Ob{j}^{(t)}={\sum }_{i=1}^{m}l(y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))+{\sum }_{k=1}^K\Omega (f_k)$

为了便于理解，对$l(y_i,x)在{\hat{y}}_i^{(t-1)}处进行泰勒展开得到：$

$l(y_i,x)=l^{}(y_i,{\hat{y}}_i^{(t-1)})+l^{{}^{\prime }}(y_i,{\hat{y}}_i^{(t-1)})(x-{\hat{y}}_i^{(t-1)})+\frac{1}{2}{l}^{"}(y_i,{\hat{y}}_i^{(t-1)})(x-{\hat{y}}_i^{(t-1)}{)}^2$

令$x={\hat{y}}_i^{(t-1)}+f_t(x_i)$,代入上式得：

$l(y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))=l^{}(y_i,{\hat{y}}_i^{(t-1)})+l^{{}^{\prime }}(y_i,{\hat{y}}_i^{(t-1)})({\hat{y}}_i^{(t-1)}+f_t(x_i)-{\hat{y}}_i^{(t-1)})+\frac{1}{2}{l}^{"}(y_i,{\hat{y}}_i^{(t-1)})({\hat{y}}_i^{(t-1)}+f_t(x_i)-{\hat{y}}_i^{(t-1)}{)}^2$

合并整理得到：

$l(y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))=l^{}(y_i,{\hat{y}}_i^{(t-1)})+l^{{}^{\prime }}(y_i,{\hat{y}}_i^{(t-1)})f_t(x_i)+\frac{1}{2}{l}^{"}(y_i,{\hat{y}}_i^{(t-1)})f_t(x_i{)}^2$

令$g_i=l^{{}^{\prime }}(y_i,{\hat{y}}_i^{(t-1)}),h_i=l^{"}(y_i,{\hat{y}}_i^{(t-1)})$得:

$l(y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))=l^{}(y_i,{\hat{y}}_i^{(t-1)})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t(x_i{)}^2$

2.代入目标函数可得到：

$Ob{j}^{(t)}={\sum }_{i=1}^m[l^{}(y_i,{\hat{y}}_i^{(t-1)})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t(x_i{)}^2]+{\sum }_{k=1}^t\Omega (f_k)$

3.正则化项展开去除常数项：

由于是前向计算，$t-1$颗树的结构已经确定了，所以可以确定一下式子均是常数项：

$l^{}(y_i,{\hat{y}}_i^{(t-1)})$

${\sum }_{k=1}^{t-1}\Omega (f_k)$

故目标函数可以表示为：

$Ob{j}^{(t)}={\sum }_{i=1}^m[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t(x_i{)}^2]+\Omega (f_t)+C$

4.合并一次项系数，二次项系数

首先定义一棵树，包括两个部分：1.叶子节点的权重向量$w$;2.叶子节点的映射关系$q$;则一棵树的表达式如下图所示：

其次定义树的复杂度，包括两个部分：1.叶子节点的数量$T$;2.叶子节点权重向量的$l_2$范数，数学语言描述如下图所示：

接着带入目标函数，对结点进行分组，目前目标函数中子函数求和是按照样本点累加，变换后是先按照叶子节点分组后再累加，此处有点不好理解。

令： $f_t(x_i)=w_{q(x_i)}$，且 $\Omega (f_t)=\gamma T+\frac{1}{2}\lambda {\sum }_{j=1}^T{\omega }_j^2$代入目标函数得：

$Ob{j}^{(t)}={\sum }_{i=1}^m[g_i{w}_{q(x_i)}+\frac{1}{2}{h}_i{w}_{q(x_i)}^2]+\gamma T+\frac{1}{2}\lambda {\sum }_{j=1}^T{\omega }_j^2+C$

将所有训练样本按照叶子节点进行分组得,此处得分类思想是先将单个叶子节点的样本求和，再合并所有叶子节点：

$Ob{j}^{(t)}={\sum }_{j=1}^T[({\sum }_{i\in I_j}{g}_i)w_j+\frac{1}{2}({\sum }_{i\in I_j}{h}_i)w_j^2]+\gamma T+\frac{1}{2}\lambda {\sum }_{j=1}^T{\omega }_j^2+C$

合并同类项得：

$Ob{j}^{(t)}={\sum }_{j=1}^T[({\sum }_{i\in I_j}{g}_i)w_j+\frac{1}{2}(\lambda +{\sum }_{i\in I_j}{h}_i)w_j^2]+\gamma T+C$

最后，合并一次项系数、二次项系数。

令：$G_j={\sum }_{i\in I_j}{g}_i,H_j={\sum }_{i\in I_j}{h}_i$,其中，$G_j$为叶子节点$j$所包含样本的一阶偏导累加之和，是个常数，$H_j$同理。

将$G_j$ 和 $H_j$ 代入目标函数得：此时变量只剩下第t颗树的权重向量$\omega$得到$XGB$的最终目标函数。

$Ob{j}^{(t)}={\sum }_{j=1}^T[G_j{w}_j+\frac{1}{2}(\lambda +H_j)w_j^2]+\gamma T+C$

XGBoost目标函数解

由XGB目标函数可知，每个叶子节点的目标函数为：

$f({\omega }_j)=G_j{\omega }_j+\frac{1}{2}(\lambda +H_j)w_j^2$

是关于${\omega }_j$的一元二次函数，$(\lambda +H_j)>0$,则$f({\omega }_j)$在${\omega }_j=-G_j/(H_j+\lambda )$处取最小值，最小值为：$-G_j^2/2(H_j+\lambda )$

XGB 目标函数的各个叶子节点的目标式是相互独立的，即每个叶子节点的式子都达到了最值点，整个目标函数也达到了最值点，则每个叶子节点的权重${\omega }_j^{\ast }$ 及此时达到的最优$Obj$目标值为：

${\omega }_i^{\ast }=-\frac{G_j}{H_j+\lambda }$

$Obj=-\frac{1}{2}{\sum }_{j=1}^T\frac{G_j^2}{H_j+\lambda }+\gamma T$