XGBoost推导

XGBoost公式推导

假如目标函数
$Ob{j}^t(f_t(x_i))={\sum }_{i=1}^{N}L(y_i,y_i^{t-1}+f_m(x_i))+\Omega (f_t)+C$。我们知道对于一个$n$阶可导的函数$f(x)$我们可以通过泰勒展开式将其展开：
$$f(x+\Delta x)=f(\Delta x)+f^{\prime }(x)\Delta x+f^{\prime \prime }(x)\frac{{\Delta }^2}{2!}+\dots +f^n(x_0)\frac{(\Delta {)}^n}{n!}$$
因此我们可以对泰勒公式做简单的近似：
$$f(x+\Delta x)\approx f(\Delta x)+f^{\prime }(x)\Delta x+f^{\prime \prime }(x)\frac{{\Delta }^2}{2!}$$
$$\begin{gathered} Ob{j}^t(f_t)=\sum _{i=1}^{N}L(y_i,y_i^{t-1}+f_t(x_i))+\Omega (f_t(x_i))+C \\ =\sum _{i=1}^N\left[L(y_i,y_i^{t-1})+\frac{\partial L(y_i,y_i^{t-1})}{\partial y_i^{t-1}}{f}_t(x_i)+\frac{1}{2}\frac{{\partial }^{2}L(y_i,y_i^{t-1})}{{\partial }^2{y}_i^{t-1}}{f}_t(x_i{)}^2\right]+\Omega (f_t(x_i))+C \end{gathered}$$

$y_i^{t-1}$表示前$t-1$棵数得到的模型，$f_t(x_i)$表示加入第$t$棵树。集成算法的目的是通过加入一颗新的数让损失变得更小。$i$为样本序号，$\Omega$为第t棵数的正则化后的表达式，正如上面讲的，可表示如下：
$$\Omega (f_t)=\gamma T+\lambda \frac{1}{2}\sum _{j=1}^T{w}_j^2$$
其中$T$表示树的节点个数、$\gamma$是惩罚因子（树的节点越多越容易过拟合）。然后对于决策树而言，最重要的就是一共有多少个节点以及每个节点的权值，所以决策树可以表示为：
$$f_m(x)=\sum _{j=1}^J{w}_j{I}_j(x\in R_j)$$
其中： $I_i(x\in R_j)$表示第$j$个叶子节点的所有样本$x_i$属于此节点，对于式\ref{eq:obj_simple}做下面的简化：
$$\begin{gathered} g_i=\frac{\partial L(y_i,y_i^{t-1})}{\partial y_i^{t-1}} \\ {h}_i=\frac{{\partial }^{2}L(y_i,y_i^{t-1})}{{\partial }^2{y}_i^{t-1}} \end{gathered}$$

这样就有了下一步的推导，
$$\begin{gathered} Ob{j}^t(f_i)\approx \sum _{i=1}^n\left[L(y_i,{\hat{y}}_i^{(t-1)})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)\right]+\Omega (f_t)+C \\ =\sum _{i=1}^n\left[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)\right]+\Omega (f_t)+C \\ =\sum _{i=1}^n\left[g_i{w}_{q(x_i)}+\frac{1}{2}{h}_i{w}_{q(x_i)}^2\right]+\gamma \cdot T+\lambda \cdot \frac{1}{2}\sum _{j=1}^T{w}_j^2+C \\ =\sum _{j=1}^T\left[\left(\sum _{i\in I_j}{g}_i\right)w_j+\frac{1}{2}\left(\sum _{i\in I_j}{h}_i\right)w_j^2\right]+\gamma \cdot T+\lambda \cdot \frac{1}{2}\sum _{j=1}^T{w}_j^2+C \\ =\sum _{j=1}^T\left[\left(\sum _{i\in I_j}{g}_i\right)w_j+\frac{1}{2}\left(\sum _{i\in I_j}{h}_i+\lambda \right)w_j^2\right]+\gamma \cdot T+C \end{gathered}$$
其中第二步是因为不管$L(y_i,{\hat{y}}_i^{(t-1)})$取值是常量，和最后的常量$C$求和结果还是常量（式47的常量$C$和48含义不同，为了方便依然使用$C$），常数不影响优化过程，定义：
$$\begin{gathered} G_j=\sum _{i\in I_j}{g}_i \\ {H}_j=\sum _{i\in I_j}{h}_i \end{gathered}$$
目标函数：
$$\begin{gathered} Ob{j}^t(f_i)\approx \sum _{j=1}^T\left[\left(\sum _{i\in I_j}{g}_i\right)w_j+\frac{1}{2}\left(\sum _{i\in I_j}{h}_i+\lambda \right)w_j^2\right]+\gamma \cdot T+C \\ =\sum _{j=1}^T\left[G_j{w}_j+\frac{1}{2}\left(H_j+\lambda \right)w_j^2\right]+\gamma \cdot T+C \end{gathered}$$
$G_j{w}_j+\frac{1}{2}\left(H_j+\lambda \right)w_j^2$求最值。本质上相当于求$ax+\frac{1}{2}b{x}^2$的最值，这样就求得了$x=-\frac{a}{b}$时取的极小值点$\frac{-a^2}{2b}$。
$$w_j^{\ast }=-\frac{G_i}{H_j+\lambda }\text{w∗为叶子节点的权重}$$

再回代，就可以把$Ob{j}^t(f_i)$中的$w$给消去了，得到了
$$Ob{j}^t(f_i)=-\frac{1}{2}\sum _{j=1}^T\frac{G_j^2}{H_j+\lambda }+\gamma T$$
这样我们就把第$t$棵树带来最小损失变成了只与$t-1$相关的一个新的损失函数。

分裂节点

在实际训练过程中，当建立第 $t$ 棵树时，XGBoost采用贪心法进行树结点的分裂,
从树深为0时开始：

• 对树中的每个叶子结点尝试进行分裂。
• 每次分裂后，原来的一个叶子结点继续分裂为左右两个子叶子结点，原叶子结点中的样本集将根据该结点的判断规则分散到左右两个叶子结点中。
• 新分裂一个结点后，我们需要检测这次分裂是否会给损失函数带来增益，增益的定义如下：
  $$\begin{gathered} Gain=Ob{j}_{L+R}-(Ob{j}_L+Ob{j}_R) \\ =-\frac{1}{2}\frac{(G_L+G_R{)}^2}{H_L+H_R+\lambda }+\gamma T-(-\frac{1}{2}\frac{G_L^2}{H_L+\lambda }+\gamma T+\frac{1}{2}\frac{G_R^2}{H_R+\lambda }+\gamma T) \\ =\frac{1}{2}\left[\frac{1}{2}\frac{G_L^2}{H_L+\lambda }+\frac{1}{2}\frac{G_R^2}{H_R+\lambda }-\frac{(G_L+G_R{)}^2}{H_L+H_R+\lambda }\right]-\gamma T \end{gathered}$$
  如果增益$Gain>0$则分裂为两个叶子节点后，目标函数下降了，此次分裂为有效分裂关键在于如何寻找最佳分割点：
• 遍历每个结点的每个特征；
• 对每个特征，按特征值大小将特征值排序；
• 线性扫描，找出每个特征的最佳分裂特征值；
• 在所有特征中找出最好的分裂点（分裂后增益最大的特征及特征值）
  上面是一种贪心的方法，每次进行分裂尝试都要遍历一遍全部候选分割点，也叫做全局扫描法。但当数据量过大导致内存无法一次载入或者在分布式情况下，贪心算法的效率就会变得很低，全局扫描法不再适用。基于此，XGBoost提出了一系列加快寻找最佳分裂点的方案：
• 特征预排序+缓存：XGBoost在训练之前，预先对每个特征按照特征值大小进行排序，然后保存为block结构，后面的迭代中会重复地使用这个结构，使计算量大大减小。
• 分位点近似法：对每个特征按照特征值排序后，采用类似分位点选取的方式，仅仅选出常数个特征值作为该特征的候选分割点，在寻找该特征的最佳分割点时，从候选分割点中选出最优的一个。
• 并行查找：由于各个特性已预先存储为block结构，XGBoost支持利用多个线程并行地计算每个特征的最佳分割点，这不仅大大提升了结点的分裂速度，也极利于大规模训练集的适应性扩展。

停止条件

树生长的停止条件：

• 当新引入的一次分裂所带来的增益Gain<0时，放弃当前的分裂。
• 当树达到最大深度时，停止建树，因为树的深度太深容易出现过拟合，这里需要设置一个超参数max_depth。
• 当引入一次分裂后，重新计算新生成的左、右两个叶子结点的样本权重和。如果任一个叶子结点的样本权重低于某一个阈值，也会放弃此次分裂。这涉及到一个超参数:最小样本权重和，是指如果一个叶子节点包含的样本数量太少也会放弃分裂，防止树分的太细，这也是过拟合的一种措施。

参考

XGBoost、GBDT超详细推导