XGBOOST公式推导及细节算法

Extreme Gradient Boosting

objective function(目标函数):

$$Obj(\theta )=L(\theta )+\Omega (\theta )$$
目标函数等于损失函数加模型正则项，两者代表bias-variance tradeoff.损失函数在不同问题下可取不同形式，MSE，logloss

基础学习器

XGBOOST中基础学习器可选CART,线性模型,DART(带dropout的boosted tree)
使用CART时，所有决策树都是回归树(Regression Tree)，处理二分类问题时，回归树节点值为分类的odds，类似于LR中的$\omega x+b$，最后可再转化为概率。即单颗回归树也能处理分类问题，且可以输出概率。使用线性模型做基学习器时，相当于LR。

决策树组合(Decision Tree Ensembles)

模型可以写成：$${\hat{y}}_i=\sum _{k=1}^K{f}_k(x_i),f_k\in \mathcal{F}$$
其中$K$是树的总个数，$f$是函数空间$\mathcal{F}$中的一个函数，函数空间$\mathcal{F}$代表所有CART组成的函数空间。
要优化的目标函数为$$Obj(\theta )=\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t)})+\sum _{k=1}^K\Omega (f_k)$$
XGBOOST的最终结果可以看作是所有CART的加法组合，而随机森林的最终结果是CART加法组合的平均值，所以XGBOOST和RF在本质上是一种模型，都是要训练多个CART然后将结果相加。区别只是在每颗CART的训练方式上。(翻译自xgboost官方文档)
GBDT每轮训练一颗决策树，在训练新决策树时，不改变前面已经存在的树。 (additive strategy: fix what we have learned, and add one new tree at a time)
$$\begin{gathered} {\hat{y}}_i^{(0)}=0 \\ {\hat{y}}_i^{(1)}=f_1(x_i)={\hat{y}}_i^{(0)} \\ {\hat{y}}_i^{(2)}=f_1(x_i)+f_2(x_i)={\hat{y}}_i^{(1)}+f_2(x_i) \\ ...... \\ {\hat{y}}_i^{(t)}=\sum _{k=1}^t{f}_k(x_i)={\hat{y}}_i^{(t-1)}+f_t(x_i) \end{gathered}$$
每一轮的优化方向是，当加入一颗决策树后，能最大程度的优化我们的目标函数。
$$\begin{array}{rl}{obj}^{(t)}& =\\ & \end{array}$$