XGBoost学习笔记

1 XGBoost目标函数

XGBoost的目标函数由训练损失和正则化项两部分组成，其表达式为：
$$Obj=\sum _{i=1}^{n}l(y_i,\widehat{y_i})+\sum _{k=1}^K\Omega (f_k)$$
其中第一项就是训练损失，第二项就是树的复杂度。

• $l(y_i,\widehat{y_i})$表示损失函数，常见的损失函数有：
  平方损失函数：$l(y_i,\widehat{y_i})=(y_i-\widehat{y_i}{)}^2$
  逻辑回归损失函数：$l(y_i,\widehat{y_i})=y_{i}ln(1+e^{-\widehat{y_i}})+(1-y_i)ln(1+e^{\widehat{y_i}})$
• $\widehat{y_i}$是第$i$个样本$x_i$的预测值，由于XGBoost是加法模型，$\widehat{y_i}$的表达式为：
  $$\widehat{y_i}=\sum _{k=1}^K{f}_k(x_i),f_k\in ϝ$$
  其中$k\in K$，代表第$k$棵树，$i$代表第$i$个样本，$f_k$是第$k$棵树的函数。
• ${\sum }_{k=1}^K\Omega (f_k)$就是将全部$k$棵树的复杂度求和，添加到目标函数中作为正则化项，用于防止模型过拟合，$\Omega (f_k)$的表达式为：
  $$\Omega (f_k)=\gamma T+\frac{1}{2}\lambda ||\omega |{|}^2$$
  复杂度由叶子节点数量和叶子节点权重向量的L2范数组成。其中，$T$为树叶子节点数量，$\omega$为叶子权重，$\gamma$为叶子树惩罚正则项，具有剪枝作用，$\lambda$为叶子权重惩罚正则项，可以防止过拟合。
• 树的定义：
  XGboost是由很多的CART回归树定义的，而CART回归树实质上就是在某特征维度对样本空间进行划分，这就有：
  $$f(x)={\omega }_{q(x)}$$
  其中${\omega }_{q(x)}$就是叶子节点$q$的分数，$q(x)$是叶子节点的编号，$f(x)$就是一棵回归树，即对于任意一个样本$x$其最后会落在树的某个叶子节点上，其值为${\omega }_{q(x)}$。

2 学习第$t$棵树

前文提到，XGBoost是一个加法模型，有：
$${\widehat{y_i}}^{(t)}=\sum _{k=1}^t{f}_k(x_i)={\widehat{y_i}}^{(t-1)}+f_t(x_i)$$
其中${\widehat{y_i}}^{(t)}$表示第$t$次迭代后样本$i$的预测结果，${\widehat{y_i}}^{(t-1)}$表示前$t-1$棵树的预测结果，$f_t(x_i)$表示第$t$棵树的函数。
将上式代入目标函数，可以得到：
$$\begin{gathered} Ob{j}^{(t)}=\sum _{i=1}^{n}l(y_i,{\widehat{y_i}}^{(t)})+\sum _{i=1}^t\Omega (f_i) \\ =\sum _{i=1}^{n}l(y_i,{\widehat{y_i}}^{(t-1)}+f_t(x_i))+\Omega (f_t)+constant \end{gathered}$$
不用考虑常量，第$t$棵树要学习的目标函数为：
$$Ob{j}^{(t)}=\sum _{i=1}^{n}l(y_i,{\widehat{y_i}}^{(t-1)}+f_t(x_i))+\Omega (f_t)$$
实际上，除了$f_t(x_i)$，其他的都是已知量或者可以通过已知量计算得到。

3 泰勒形式展开

泰勒公式的二阶展开形式如下：
$$f(x+\Delta x)\simeq f(x)+f^{\prime }(x)\Delta x+\frac{1}{2}{f}^{\prime \prime }(x)\Delta x^2$$
对应到：$l(y_i,{\widehat{y_i}}^{(t-1)}+f_t(x_i))$，其中$f(x)$对应到损失函数$l$，$x$对应到前$t-1$棵树的预测值${\widehat{y_i}}^{(t-1)}$，$\Delta x$对应于我们正在训练的第$t$棵树，损失函数可以转化为：
$$l(y_i,{\widehat{y_i}}^{(t-1)}+f_t(x_i))=l(y_i,{\widehat{y_i}}^{(t-1)})+\frac{\partial l(y_i,{\hat{y}}^{(t-1)})}{\partial {\hat{y}}^{(t-1)}}{f}_t(x_i)+\frac{1}{2}\frac{{\partial }^{2}l(y_i,{\hat{y}}^{(t-1)})}{{\partial }^2{\hat{y}}^{(t-1)}}{f}_t^2(x_i)$$
令损失函数$l$关于${\hat{y}}^{(t-1)}$的一阶导数和二阶导数分别表示为：
$$\begin{gathered} g_i=\frac{\partial l(y_i,{\hat{y}}^{(t-1)})}{\partial {\hat{y}}^{(t-1)}} \\ {h}_i=\frac{{\partial }^{2}l(y_i,{\hat{y}}^{(t-1)})}{{\partial }^2{\hat{y}}^{(t-1)}} \end{gathered}$$
则$l(y_i,{\widehat{y_i}}^{(t-1)}+f_t(x_i))$化简为：
$$l(y_i,{\widehat{y_i}}^{(t-1)}+f_t(x_i))=l(y_i,{\widehat{y_i}}^{(t-1)})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)$$
带入到式子$Ob{j}^{(t)}={\sum }_{i=1}^{n}l(y_i,{\widehat{y_i}}^{(t-1)}+f_t(x_i))+\Omega (f_t)$中，得到：
$$Ob{j}^{(t)}\simeq \sum _{i=1}^n[l(y_i,{\widehat{y_i}}^{(t-1)})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\Omega (f_t)$$
式中$l(y_i,{\widehat{y_i}}^{(t-1)})$是可以计算得到的常量，因此，上式进一步化简为：
$$Ob{j}^{(t)}\simeq \sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\Omega (f_t)+C$$

3 叶子节点归组

我们将属于第$j$个叶子结点的所有样本 $x_i$ , 划入到一个叶子结点样本集中，数学表示如下：
I j = { i ∣ q ( x i ) = j } I_j=\{i|q(x_i)=j\} Ij​={i∣q(xi​)=j}
将复杂度公式代入$$Ob{j}^{(t)}\simeq \sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\Omega (f_t)$$
并运用节点归组的思想，得到：
$$\begin{gathered} Ob{j}^{(t)}\simeq \sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\Omega (f_t) \\ =\sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\gamma T+\frac{1}{2}\sum _{j=1}^T\lambda ||\omega |{|}^2 \\ =\sum _{j=1}^T[(\sum _{i\in I_j}{g}_i){\omega }_j+\frac{1}{2}(\sum _{i\in I_j}{h}_i+\lambda ){\omega }_j^2]+\gamma T \end{gathered}$$
进一步，给出如下定义：
$$\begin{gathered} G_j=\sum _{i\in I_j}{g}_i \\ {H}_j=\sum _{i\in I_j}{h}_i \end{gathered}$$
其中，$G_j$是叶子节点$j$所包含样本的一阶偏导数累加之和，是一个常数；$H_j$是叶子节点$j$所包含的二阶偏导数累加之和，同样也是一个常量。得到最终的目标函数：
$$\begin{gathered} Ob{j}^{(t)}\simeq \sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\Omega (f_t) \\ =\sum _{j=1}^T[(\sum _{i\in I_j}{g}_i){\omega }_j+\frac{1}{2}(\sum _{i\in I_j}{h}_i+\lambda ){\omega }_j^2]+\gamma T \\ =\sum _{j=1}^T[G_j{\omega }_j+\frac{1}{2}(H_j+\lambda ){\omega }_j^2]+\gamma T \end{gathered}$$

4 最优化

上面得到最终的目标函数：
$$Ob{j}^{(t)}\simeq \sum _{j=1}^T[G_j{\omega }_j+\frac{1}{2}(H_j+\lambda ){\omega }_j^2]+\gamma T$$
实际上，对于每个叶子结点 $j$ , 都可以将其从目标式$Obj$中拆解出来，并且各个叶子结点的目标子式是相互独立的，也就是说，当每个叶子结点的子式都达到最值点时，整个目标函数式$Ob{j}^{(t)}$才达到最值点。
$$Obj=G_j{\omega }_j+\frac{1}{2}(H_j+\lambda ){\omega }_j^2$$
因为$G_j$和$H_j$对于第$t$棵树来说都是可以计算的，因此上式就只包含一个变量${\omega }_j$，令$Obj$对${\omega }_j$的导数为$0$，很容易得到最优的${\omega }_j$：
$${\omega }_j^{\ast }=-\frac{G_j}{H_j+\lambda }$$
得到最优的目标函数(最小损失)：
$$Obj=-\frac{1}{2}\sum _{j=1}^T\frac{G_j^2}{H_j+\lambda }+\gamma T$$

5 树的生长

如何分裂

为什么我们之前一直讨论目标函数$Obj$，在GBDT中，启发式的方法让分裂准则不总是和损失函数相关，我们可以使用多种损失函数评价分裂质量。但在XGBoost中的分裂准则是直接跟损失函数挂钩的一种分裂准则，这是XGBoost跟GBDT不一样的一个点。
具体来讲，XGBoost选择这个准则，计算增益Gain ：
$$\begin{gathered} Gain=-\frac{1}{2}\frac{(G_L+G_R{)}^2}{H_L+H_R+\lambda }+\gamma T_0-(-\frac{1}{2}\frac{G_L^2}{H_L+\lambda }-\frac{1}{2}\frac{G_R^2}{H_R+\lambda })-\gamma T_1 \\ =\frac{1}{2}[\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_R+\lambda }-\frac{(G_L+G_R{)}^2}{H_L+H_R+\lambda }]+\gamma (T_0-T_1) \end{gathered}$$
其中，$T_0=1$，$T_1=2$。
其实选择这个作为准则的原因很简单也很直观，由最优损失易知，对于一个节点，假设我们不分裂的话，那么对于左叶子节点和右叶子节点而言其包含样本点的一阶二阶导的和就不是单独来算了，而是合在一起算的。
因为此时所有样本都存在于未分裂的节点中，所以此时该节点中一阶导的和就相当于$(G_L+G_R)$，未分裂节点上的二阶导为$(H_L+H_R)$，将其代入$Obj=-\frac{1}{2}{\sum }_{j=1}^T\frac{G_j^2}{H_j+\lambda }+\gamma T$中，即可得到不分裂情况下的损失值：
$$\frac{(G_L+G_R{)}^2}{H_L+H_R+\lambda }$$
假设在这个节点分裂的话，分裂之后左右叶子节点的损失分别为：
$$\frac{G_L^2}{H_L+\lambda }和\frac{G_R^2}{H_R+\lambda }$$
所以选择分裂后预期损失减少得最多，即：
$$max(\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_R+\lambda }-\frac{(G_L+G_R{)}^2}{H_L+H_R+\lambda })$$

寻找最优分裂

上一节介绍了如何分裂，但在一个结点分裂时，可能有很多个分裂点，每个分裂点都会产生一个增益，寻找最优分裂点就非常重要了。寻找最优分裂点一般步骤如下：

• 遍历每个结点的每个特征；
• 对每个特征，按特征值大小将特征值排序；
• 线性扫描，找出每个特征的最佳分裂特征值；
• 在所有特征中找出最好的分裂点（分裂后增益最大的特征及特征值）。

这是一般方法，每次进行分裂尝试都要遍历一遍全部候选分裂点，如果数据量较大，内存无法承载或在分布式的情况下，这种方法就不再适用。因此就有了XGBoost算法的改进：

• 特征预排序+缓存
  XGBoost在训练之前，预先对每个特征按照特征值大小进行排序，然后保存为block结构，后面的迭代中会重复地使用这个结构，使计算量大大减小。
• 分位点近似法
  对每个特征按照特征值排序后，采用类似分位点选取的方式，仅仅选出常数个特征值作为该特征的候选分割点，在寻找该特征的最佳分割点时，从候选分割点中选出最优的一个。
• 并行查找
  由于各个特性已预先存储为block结构，XGBoost支持利用多个线程并行地计算每个特征的最佳分割点，这不仅大大提升了结点的分裂速度，也极利于大规模训练集的适应性扩展。

停止生长

常见的让树停止生长的条件包括：

• Gain控制
  我们知道，分裂前后的Gain值为：
  $$Gain=\frac{1}{2}[\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_R+\lambda }-\frac{(G_L+G_R{)}^2}{H_L+H_R+\lambda }]-\gamma$$
  其中式子前半部分表示训练损失的减少量，$\gamma$表示叶子节点惩罚正则项。当$Gain$值小于0时，表明分裂失败。
• 深度停止
  当树的深度达到一定值时，停止分裂，时一种防止过拟合的措施。
• 权重阈值
  分裂后重新计算新生成的左、右两个叶子结点的样本权重和。如果任一个叶子结点的样本权重低于某一个阈值，也会放弃此次分裂。这涉及到一个超参数：最小样本权重和，是指如果一个叶子节点包含的样本数量太少也会放弃分裂，防止树分的太细，是防止过拟合的一种措施。

其他

手动还原参考：XGBoost详解