XGboost小结

集成学习

集成学习是将多个模型组合成一个模型的方法，一般是将学习到的多个弱学习器（基分类器）进行组合，构成一个强学习器，集诸子百家之大成。根据组合方式不同，又分为 $Bagging $ 和 $Boosting$ ，前者代表算法是随机深林，后者代表是 $AdaBoost$ 、$GBDT$ 、$XGBoost$ 。

加法模型

加法模型是将多个基学习器通过相加，组合成强学习器。

$$F(x)=\sum _{i=1}^m{\alpha }_{i}f(x;{\theta }_i)$$
其中 $F(x)$ 是组合起来的强学习器，${\alpha }_i$ 是弱分类器的权重，${\theta }_i$ 是弱分类器的参数。若弱分类器是决策树，则参数为叶子节点的值、选择的特征等。

以 $GBDT$ 为例，训练时采用逐步求解的方法，依次确定每个基分类器的参数，然后加入到强学习器中，使强学习器的精度不断提升。具体过程如下：
$$\begin{array}{rl}{\hat{y}}_i^0& =0\\ {\hat{y}}_i^1& =f_1\left(x_i\right)={\hat{y}}_i^0+f_1\left(x_i\right)\\ {\hat{y}}_i^2& =f_1\left(x_i\right)+f_2\left(x_i\right)={\hat{y}}_i^1+f_2\left(x_i\right)\\ & \cdots \\ {\hat{y}}_i^t& =\sum _{k=1}^t{f}_k\left(x_i\right)={\hat{y}}_i^{t-1}+f_t\left(x_i\right)\end{array}$$

目标函数

以训练第 $t$ 个模型为例，模型对第 $i$ 个样本 $x_i$ 的预测过程为：
$${\hat{y}}_i^t={\hat{y}}_i^{t-1}+f_t(x_i)$$
其中 $f_t(x_i)$ 就是要训练的新模型，目标函数为：
$$L_t=\sum _{i=1}^{n}l(y_i,{\widehat{y_i}}^t)+\sum _{k=1}^t\Omega (f_k)$$
其中第一部分是损失项，第二部分是正则化项。$n$ 为训练样本个数，$y_i$ 为样本 $x_i$ 的真实标签，${\hat{y}}_i$ 为样本 $x_i$ 的预测标签。正则化项表示模型的复杂度：
$$\Omega (f_t)=\gamma T+\frac{1}{2}\lambda \sum _{k=1}^T{\omega }_k^2$$
其中 $T$ 为叶子结点个数，该项体现了决策树结构的复杂程度； ${\omega }_k$ 为训练的第 $k$ 颗树叶子结点对应的值，体现了决策树的预测值复杂程度。

根据学过的高数可以知道，函数在 $x^{\ast }$ 处取得极值的必要条件是导数为 $0$ ，即：
$$\nabla f(x^{\ast })=0$$
因此，可以使用求导的方法找到函数的极值。但是如果函数非常复杂，该方法不易求解，所以采用迭代算法，从一个初始点 $x_i$ ，利用在该点的一阶导和二阶导，逐渐移动到极值点。

因此，当实际优化问题的目标函数往往比较复杂时，为了使问题简化，通常将目标函数在某点附近展开为泰勒多项式来逼近原函数。

根据泰勒公式，$f(x)$ 在 $x_0$ 处展开二阶导：
$$f(x)\approx f(x_0)+f^{\prime }(x_0)(x-x_0)+\frac{f^{\prime \prime }(x_0)}{2}(x-x_0{)}^2$$
或者：
$$f(x+\Delta x)\approx f(x)+f^{\prime }(x)\Delta x+\frac{f^{\prime \prime }(x)}{2}\Delta x^2$$

推导过程

目标函数：
$$\begin{array}{rl}{L}_t& =\sum _{i=1}^{n}l(y_i,{\widehat{y_i}}^t)+\sum _{k=1}^t\Omega (f_k)\\ & =\sum _{i=1}^{n}l(y_i,{\widehat{y_i}}^{t-1}+f_t(x_i))+\sum _{k=1}^t\Omega (f_k)\end{array}$$
将 $f_t(x_i)$ 看作 $\Delta x$ ，目标函数可以写成：
$$\begin{array}{rl}{L}_t& =\sum _{i=1}^{n}l(y_i,{\widehat{y_i}}^{t-1}+f_t(x_i))+\sum _{k=1}^t\Omega (f_k)\\ & =\sum _{i=1}^n[l(y_i,{\widehat{y_i}}^{t-1})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\sum _{k=1}^t\Omega (f_k)\end{array}$$
其中，$g_i$ 为目标函数一阶导，$h_i$ 为目标函数二阶导。注意 ：这里的求导是对 ${\hat{y}}_i^{t-1}$ 导的。

假设损失函数 $l(y_i,{\widehat{y_i}}^{t-1})$ 为均方误差损失函数，则 $l(y_i,{\widehat{y_i}}^{t-1})=(y_i-{\widehat{y_i}}^{t-1}{)}^2$ ，其中 $y_i-\widehat{y_i}$ 称为残差。

所以:
$$\begin{array}{rl}{g}_i& =\frac{\partial l(y_i,{\widehat{y_i}}^{t-1})}{\partial {\widehat{y_i}}^{t-1}}=-2(y_i-{\widehat{y_i}}^{t-1})\\ h_i& =\frac{{\partial }^{2}l(y_i,{\widehat{y_i}}^{t-1})}{{\partial }^2{\widehat{y_i}}^{t-1}}=-2\end{array}$$
训练第 $t$ 个模型时，${\hat{y}}_i^{t-1}$ 是上一个模型对 $x_i$ 的预测值，是已知的，所以 $l(y_i,{\widehat{y_i}}^{t-1})$ 是一个常数。因此，目标函数可以简化为：
$$\begin{array}{r}{L}_t=\sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\sum _{k=1}^t\Omega (f_k)\end{array}$$
假设训练好了一颗决策树拟合当前的残差数据，决策树的叶子结点数为 $T$ ，第 $j$ 个叶子结点的值为 $w_j$ 。定义函数 $q(x_i)=j$ 表示数据 $x$ 属于被分到第 $j$ 个叶子结点里的数据。

定义集合：
I j = { i ∣ q ( x i ) = j } I_j = \{i | q(x_i) = j\} Ij​={i∣q(xi​)=j}
表示第 $j$ 个叶子结点的训练样本集合。

因为每个训练样本只属于一个叶子结点，所以目标函数可以转化为对每一个叶子结点里的样本集合求损失函数，然后累加：
$$\begin{array}{rl}{L}_t& =\sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\sum _{k=1}^t\Omega (f_k)\\ & =\sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\gamma T+\frac{1}{2}\lambda \sum _{k=1}^T{\omega }_k^2\\ & =\sum _{k=1}^T[(\sum _{i\in I_k}{g}_i){\omega }_k+\frac{1}{2}(\sum _{i\in I_k}{h}_i+\lambda ){\omega }_k^2]+\gamma T\end{array}$$
令：
$$\begin{array}{r}{G}_k=\sum _{i\in I_k}{g}_i，H_k=\sum _{i\in I_k}{h}_i\end{array}$$
则目标函数可写成：
$$\begin{array}{r}{L}_t=\sum _{k=1}^T[G_k{\omega }_k+\frac{1}{2}(H_k+\lambda ){\omega }_k^2]+\gamma T\end{array}$$
目标函数对 ${\omega }_k$ 求导，可以得到叶子结点 $k$ 的最优值：
$${\omega }_k^{\ast }=-\frac{G_k}{H_k+\lambda }$$
带入目标函数：
$$\begin{array}{r}{L}_t=-\frac{1}{2}\sum _{k=1}^T\frac{G_k^2}{H_k+\lambda }+\gamma T\end{array}$$
经过推导后的目标函数作为选择最优分裂特征的标准。

假设某结点分裂前训练样本数为 $I$ ，分裂后左结点的训练样本数为 $I_L$ ，右结点样本数为 $I_R$ 。

则分裂前的目标函数为：
$$\begin{array}{r}{L}_t=-\frac{1}{2}\frac{(G_L+G_R{)}^2}{H_L+H_R+\lambda }+\gamma \end{array}$$
分裂后的目标函数为：
$$\begin{array}{r}{L}_t=-\frac{1}{2}[\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_R+\lambda }]+2\gamma \end{array}$$
分裂后的信息增益为：
$$\begin{array}{r}Gain=-\frac{1}{2}[\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_R+\lambda }-\frac{(G_L+G_R{)}^2}{H_L+H_R+\lambda }]-\gamma \end{array}$$
对于每一个特征，我们选取信息增益最大的作为分裂特征。

Reference

理解XGBoost