xgboost论文公式解析

<XGBoost: A Scalable Tree Boosting System>
论文结构如下：
1.介绍。
2.回顾boosting Tree以及作者做的一系列修改
3.寻找最佳分割点的算法
4.加速设计
5.相关工作
6.评价

可以看出，论文的重点是第３部分，其他都是在优化和加速上面的工作。

原始论文式(1)
$$\widehat{y_i}=\varphi (x_i)=\sum _{k=1}^K{f}_k(x_i),f\in F$$
K:K个弱分类器

where F = { f ( x ) = w q ( x ) } F=\{f(x)=w_{q(x)}\} F={f(x)=wq(x)​}
原文提到：
“here q represents the structure of each tree that maps an example to the correspoding leaf index”
意思就是：
q(x)表示ｘ这条测试数据到达了哪一个叶子节点

原始论文式(3)
$${\tilde{L}}^{(t)}=\sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\Omega (f_t)$$

原始论文:
expanding Ω($f_t$) as follows:
\－－－－－－－－－－－－－－－－－－－－－－－－－－
原始论文式(2)
$$L(\varphi )=\sum _{i}l(\widehat{y_i},y_i)+\sum _k\Omega (f_k)$$
where $\Omega (f)=\gamma T+\frac{1}{2}\lambda ||w|{|}^2$
引用：
Here $l$ a differentiable convex loss function that measures
the difference between the prediction ${\hat{y}}_i$and the target $y_i$.
The second term Ω penalizes the complexity of the model
(i.e., the regression tree functions). The additional regular-
ization term helps to smooth the final learnt weights to avoid
over-fitting.
也就是说：这是一个可以微分的凸函数，是可以求得最小值的。

\－－－－－－－－－－－－－－－－－－－－－－－－－－
原始论文式(3)
泰勒公式展开到二阶近似：
$$L^{(t)}\approx \sum _{i=1}^n[l(y_i,{\hat{y}}^{(t-1)})＋g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\Omega (f_k)$$
这里的n表示的n条数据
引文：
Formally,let ${\widehat{y_i}}^t$ be the prediction of the i-th instance at the t-th iteration,we will need to add $f_t$ to　minimize the following objecte.
$g_i={\partial }_{{\hat{y}}^{(t-1)}}l(y_i,{\hat{y}}^{(t-1)})$
$h_i={\partial }_{{\hat{y}}^{(t-1)}}^{2}l(y_i,{\hat{y}}^{(t-1)})$
\－－－－－－－－－－－－－－－－－－－－－－－－－－
原始论文式(4)
$${\tilde{L}}^{(t)}=\sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2$$

这个式子继续往下推需要这么几个关系式(论文中没有提到)：

$$\frac{1}{2}\sum _{j=1}^T\sum _{i\in I_j}{h}_i{w}_j^2=\frac{1}{2}\sum _{i=1}^n{h}_i{f}_t^2(x_i)$$

$$\sum _{j=1}^T(\sum _{i\in I_j}{g}_i)w_j=\sum _{i=1}^n{g}_i{f}_t(x_i)$$

$$w_j=f_t(x_i)$$

T:叶子数量

$I_j$:到达第j个叶子的数据集
$w_j$:第j个叶子的权重，原文是：
“we use $w_i$ to represent score on i-th leaf”

$$=\sum _{j=1}^T[(\sum _{i\in I_j}{g}_j)w_j+\frac{1}{2}(\sum _{i\in I_j}{h}_i+\lambda )w_j^2]+\gamma T$$

\－－－－－－－－－－－－－－－－－－－－－－－－－－
原始论文式(5)
$$w_j^{\ast }=-\frac{{\sum }_{i\in I_j}{g}_i}{{\sum }_{i\in I_j}{h}_i+\lambda }$$

\－－－－－－－－－－－－－－－－－－－－－－－－－－
把式(5)带入(4)得到原始论文式(6)：
$${\tilde{L}}^{(t)}(q)=-\frac{1}{2}\sum _{j=1}^T\frac{({\sum }_{i\in I_j}{g}_i{)}^2}{{\sum }_{i\in I_j}{h}_j+\lambda }+\gamma T$$

\－－－－－－－－－－－－－－－－－－－－－－－－－－
然后是式(7),评价指标为：
$$L_{split}=\frac{1}{2}[\frac{({\sum }_{i\in I_L}{g}_i{)}^2}{{\sum }_{i\in I_L}{h}_i+\lambda }+\frac{({\sum }_{i\in I_R}{g}_i{)}^2}{{\sum }_{i\in I_R}{h}_i+\lambda }-\frac{({\sum }_{i\in I}{g}_i{)}^2}{{\sum }_{i\in I}{h}_i+\lambda }]-\gamma$$

\－－－－－－－－－－－－－－－－－－－－－－－－－－
这里还采用了"Column Subsampling"技术，
也就是每棵树采用其中几个特征进行独自生成cart树，最后把每个cart树的预测值相加，就是整个XGBOOST集成模型的最终预测值