XGBoost算法介绍

Decision Tree Ensemble 决策树集成原理

集成模型的最终预测结果为每一颗树的预测结果之加和：

$\widehat{y_i}={\sum }_{k=1}^n{f}_k(x_i)$

Additive Training：

${\widehat{y_i}}^{(0)}=0$

${\widehat{y_i}}^{(1)}=f_1(x_i)={\widehat{y_i}}^{(0)}+f_1(x_i)$

${\widehat{y_i}}^{(2)}=f_1(x_i)+f_2(x_i)={\widehat{y_i}}^{(1)}+f_2(x_i)$

$......$

${\widehat{y_i}}^{(t)}={\sum }_{k=1}^t{f}_k(x_i)={\widehat{y_i}}^{(t-1)}+f_t(x_i)$

Tree Boosting算法

定义一个目标函数（包含损失函数+正则化项），然后最优化它；
在训练第t个模型时，第t-1个及之前的模型已经确定。

$\begin{array}{rl}ob{j}^{(t)}& =\sum _{i=1}^{n}l(y_i,{\widehat{y_i}}^{(t)})+\sum _{i=1}^t\omega (f_i)\\ & =\sum _{i=1}^{n}l(y_i,{\widehat{y_i}}^{(t-1)}+f_t(x_i))+\sum _{i=1}^{t-1}\omega (f_i)+\omega (f_t)\\ & =\sum _{i=1}^{n}l(y_i,{\widehat{y_i}}^{(t-1)}+f_t(x_i))+\omega (f_t)+C1\end{array}$

二阶泰勒展开公式：

$f(x+\Delta x)\approx f(x)+f^{{}^{\prime }}(x)\Delta x+\frac{1}{2}{f}^{{}^{\prime \prime }}(x)\Delta x^2$

$l(y_i,{\widehat{y_i}}^{(t-1)}+f_t(x_i))=l(y_i,{\widehat{y_i}}^{(t-1)})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)$

其中: $g_i=(\frac{\partial l}{\partial \widehat{y_i}}{)}^{(t-1)},h_i=(\frac{{\partial }^{2}l}{\partial {\widehat{y_i}}^2}{)}^{(t-1)}$

带入目标函数中，简化得：

$\begin{array}{rl}ob{j}^{(t)}& =\sum _{i=1}^{n}l(y_i,{\widehat{y_i}}^{(t-1)}+f_t(x_i))+\omega (f_t)+C1\\ & =\sum _{i=1}^{n}l(y_i,{\widehat{y_i}}^{(t-1)})+\sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\omega (f_t)+C1\\ & =\sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\omega (f_t)+C2\end{array}$

扔掉常数项，简化得：

$ob{j}^{(t)}={\sum }_{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\omega (f_t)$

Model Complexity 处理正则化项

将第t棵树表示为：

$f_t(x)={\omega }_{q(x)},\omega \in R^T$

其中，$\omega$为叶子节点得分向量，$q(x)$为确定每个样本被划分到哪个叶子节点中的函数，T为叶子节点数。

设第t棵树的正则化项表达式为：

$\omega (f)=\gamma T+\frac{1}{2}\lambda {\sum }_{j=1}^T{\omega }_j^2$

$I_j$为第j个叶子节点的样本集合：

I j = { i ∣ q ( x i ) = j } I_j=\lbrace i|q(x_i)=j\rbrace Ij​={i∣q(xi​)=j}

带入目标函数（将按样本累加变换为按叶子节点累加），简化得：

$\begin{array}{rl}ob{j}^{(t)}& =\sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\omega (f_t)\\ & =\sum _{i=1}^n[g_i{\omega }_i+\frac{1}{2}{h}_i{\omega }_i^2]+\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{\omega }_j^2\\ & =\sum _{j=1}^T[(\sum _{i\in I_j}{g}_i){\omega }_j+\frac{1}{2}(\sum _{i\in I_j}{h}_i+\lambda ){\omega }_j^2]+\gamma T\\ & =\sum _{j=1}^T[G_j{\omega }_j+\frac{1}{2}(H_j+\lambda ){\omega }_j^2]+\gamma T\end{array}$

式$G_j{\omega }_j+\frac{1}{2}(H_j+\lambda ){\omega }_j^2$是一个关于${\omega }_j$的一元二次式，可得目标函数最小值$ob{j}^{\ast }$及对应的叶子节点得分${\omega }_j$为：

${\omega }_j^{\ast }=-\frac{G_j}{H_j+\lambda }$

$ob{j}^{\ast }=-\frac{1}{2}{\sum }_{j=1}^T\frac{G_j^2}{H_j+\lambda }+\gamma T$

至此，计算出第t棵树每个叶子节点的得分${\omega }_j$，另外，$ob{j}^{\ast }$是用来衡量当前第t棵树模型好坏的指标，$ob{j}^{\ast }$越小，树模型越好。

Learn the tree structure 构造第t棵树模型

构造树模型的要素：
1、确定用来划分样本的特征；
2、特征确定后，判断特征划分的参数。

设在某个树节点上，将样本分裂为左（L）和右（R）两个子节点；
分裂前，只有1个节点，T=1，目标函数得分为：

$ob{j}_{before}=-\frac{1}{2}\frac{(G_L+G_R{)}^2}{H_L+H_R+\lambda }+\gamma$

分裂后，T=2，目标函数得分为：

$ob{j}_{after}=-\frac{1}{2}[\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_L+\lambda }]+2\gamma$

此次分裂得到的目标函数增益（减小量）为：

$Gain=ob{j}_{before}-ob{j}_{after}=\frac{1}{2}[\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_L+\lambda }-\frac{(G_L+G_R{)}^2}{H_L+H_R+\lambda }]-\gamma$

根据Gain的大小即可筛选最佳变量及最佳划分点。