XGBoost原理详解

目标函数

假设模型的损失函数是：$L={\sum }_{i=1}^{n}l(y_i,{\hat{y}}_i)$，
假设模型的目标函数是：$Obj={\sum }_{i=1}^{n}l(y_i,{\hat{y}}_i)+{\sum }_{i=1}^t\Omega (f_i)$，这里的第二项是正则项，假设共计生成了$t$棵树，$\Omega (f_i)$为第$i$棵树的复杂度，防止模型的过拟合。
由于XGBoost为前向相加模型，第$t$步的目标函数可改写为：
$Ob{j}^{(t)}={\sum }_{i=1}^{n}l(y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))+{\sum }_{i=1}^{t-1}\Omega (f_i)+\Omega (f_t)$
利用泰勒公式：$f(x+\Delta x)\approx f(x)+f^{{}^{\prime }}(x)\Delta x+\frac{1}{2}{f}^{{}^{\prime \prime }}(x)\Delta x^2$（对$f(x+\Delta x)$在$x$处进行二阶泰勒展开）。
同理将XGBoost在第$t$步的损失函数在$y_i^{(t-1)}$处展开写成：
KaTeX parse error: {split} can be used only in display mode.
此时目标函数可改写为：
$Ob{j}^{(t)}\approx {\sum }_{i=1}^n[l(y_i,{\hat{y}}_i^{(t-1)})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+{\sum }_{i=1}^{t-1}\Omega (f_i)+\Omega (f_t)$
由于$l(y_i,{\hat{y}}_i^{(t-1)})$和${\sum }_{i=1}^{t-1}\Omega (f_i)$在第$t-1$轮迭代中已计算完毕，为常数，由此可以去除并简化目标函数：
$Ob{j}^{(t)}\approx {\sum }_{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\Omega (f_t)$
单独看目标函数中的正则项：$\Omega (f_t)$，此项定义了决策树的复杂程度，由两部分决定：叶子节点的数量（叶子节点越少模型越简单）和叶子节点的权重向量L2范数（各个叶子节点的权值应较为一致，不应出现某几个非常大）：
$\Omega (f_t)=\gamma T+\frac{1}{2}\lambda {\sum }_{j=1}^T{w}_j^2$
将目标函数拆分到每个叶子节点（共计$T$个）上，得到最终第$t$轮的目标函数为：
KaTeX parse error: {split} can be used only in display mode.
定义$G_j={\sum }_{i\in I_j}{g}_i$，$H_j={\sum }_{i\in I_j}{h}_i$，则$Ob{j}^{(t)}={\sum }_{j=1}^T[G_j{w}_j+\frac{1}{2}(H_j+\lambda )w_j^2]+\gamma T$
对于每一个节点中的$G_j{w}_j+\frac{1}{2}(H_j+\lambda )w_j^2$来说若要使其取得极小值点,对此式求一阶导数即可求得叶子节点对应的权重:
$w_j^{\ast }=-\frac{G_j}{H_j+\lambda }$
于是最终的目标函数可化简为:$Ob{j}^{(t)}=-\frac{1}{2}{\sum }_{j=1}^T\frac{G_j^2}{H_j+\lambda }+\gamma T$,越小则模型结构越好.

分裂方式

XGBoost的分裂过程所选取的增益标准不是基尼系数或者信息增益率等，而是上节所提到的决策树目标函数评分，节点分裂过程可见下图：

节点分裂收益是树A的评分减去树B的评分，比较分裂前的$S$节点与分裂后的$L$、$R$节点，则分裂收益的表达式可以理解：
当节点$S$不分裂时，可以给目标函数带来的是评分为：$\frac{G_S^2}{H_S+\lambda }+\gamma$，
而如果它分裂为两个叶子节点$L$、$R$，那么它们给目标函数带来的评分（此时原本的叶子节点$S$由于分裂，不再作为叶子节点）为：$\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_R+\lambda }+2\gamma$
则它们的差可以作为分裂的收益：
KaTeX parse error: {split} can be used only in display mode.

精确贪心算法（Exact Greedy Algorithm）

贪心准则分裂的思路与CART回归树一样，遍历特征值计算分裂收益，排序后选取最优特征，但是如果碰到连续值，按照决策树的方法遍历特征的每个值计算量会较大，因此作者提出了其他分裂算法。

近似算法（Approximate Algorithm）

第一种精确贪心分裂策略的计算复杂度较高，为减小计算量，作者在论文中提出了一种近似算法，即按照特征值的分布进行数据的分桶离散化，这样大大减小了划分的遍历次数。
这种方法包括两种不同的策略：

1. Global，全局近似，在树建立的初始阶段就对特征进行分桶离散化，只进行一次分桶操作，得到候选切分点，并在接下来的所有分裂过程中均使用这些离散点进行分裂决策。
2. Local，局部近似，在每次需要对节点进行分裂前，对该节点上的候选样本进行分位数离散分桶化，得到该节点上的候选切分点，每次分裂都需要进行分桶计算。

加权分位数缩略图算法（Weighted Quantile Sketch）

简单地按照分位数计算候选切分点的方式可能比较粗糙不合理，作者提出了加权分位数缩略图的近似分裂算法。
假设数据集$D_k=\{(x_{1k},h_1),(x_{2k},h_2),...,(x_{nk},h_n)\}$样本中每个样本第$k$个特征值$x_{nk}$和对应的二阶导数$h_n$集合。
定义排名函数为：
$r_k(z)=\frac{1}{{\sum }_{(x,h)\in D_k}h}{\sum }_{(x,h)\in D_k,x<z}h$
这里表示第$k$个特征值小于$z$的样本集合中，其二阶导数的占比。
于是可将样本特征离散化为 { s k , 1 , s k , 2 , . . . , s k , l } \{s_{k,1},s_{k,2},...,s_{k,l}\} {sk,1​,sk,2​,...,sk,l​}个候选切分点，其中$s_{ki}$则代表第$i$个箱子上的右临界值，且候选切分点需满足条件：
$|r_k(s_{k,j})-r_k(s_{k,j+1})|>\epsilon$
其中$\epsilon$决定着切分点之间的宽度，大致数据集的划分个数有$\frac{1}{\epsilon }$个，且$s_{k,1}=min(x_{ik})$、$s_{k,l}=max(x_{ik})$
在划分过程中为什么要切分二阶导数的占比，可以重写之前推导的第$t$轮的目标函数：
KaTeX parse error: {split} can be used only in display mode.
而$\frac{1}{2}{\sum }_{i=1}^n(\frac{g_i}{h_i}{)}^2$中的$g_i$、$h_i$均为前一轮计算的已知常数，因此上式可改写为：
$Ob{j}^{(t)}={\sum }_{i=1}^n\frac{1}{2}{h}_i[f_t(x_i)-(-\frac{g_i}{h_i}){]}^2+\Omega (f_t)+constant$
此时的$h_i$可以看成是每个样本与其标签标签$(-\frac{g_i}{h_i})$间的损失计算权重，如果样本的$h_i$越小，则其对损失函数的影响越小，这样利用$h_i$进行分位数的划分，能将对损失函数影响较为接近的样本划分在同一个箱子中，因此在可以由二阶梯度作为候选切分点的选择依据。
稀疏感知（Sparsity Aware Split Finding）
在训练阶段，首先对于非缺失的数据进行候选节点的切分，对于特征缺失的样本而言，首先尝试将所有缺失该特征的样本划分到左子树计算增益，再尝试划分到右子树计算增益，取其中最大收益的方向作为分裂方向。在预测阶段，如果预测样本缺失某个特征，则按之前学习的方向分裂，如果预测样本在训练阶段没有缺失，也就没有学习过的分裂方向，则默认将其分到右子树。

面试问题

1. XGBoost为什么使用二阶泰勒展开？
● 精准性：相对于GBDT的一阶展开，采用二阶展开能够更为精准地逼近真实的损失函数
● 可扩展性：只需损失函数二阶可导，即可自定义。
2. XGBoost如何防止过拟合？
● 目标函数添加正则项：具体形式为叶子节点数量+节点权重的L2范数。
● 列抽样：训练时只考虑部分特征。
● 子采样：每轮计算可以使用部分样本，使算法更保守。
● Shrinkage：通过学习率/步长逐步缩小偏差。