xgboost理论分析

本文CSDN

陈天奇PPT

XGBoost: A Scalable Tree Boosting System

刘建平： XGBoost算法原理小结

xgboost 实战以及源代码分析

Complete Guide to Parameter Tuning in XGBoost with codes in Python

Introduction to Boosted Trees

Can Gradient Boosting Learn Simple Arithmetic?

【机器学习】决策树（下）——XGBoost、LightGBM（非常详细）

史上最详细的XGBoost实战

华校专-Xgboost使用

LightGBM详解

---

在GBDT损失函数$L\left(y,f_{t-1}(x)+h_t(x)\right)$的基础上，我们加入正则化项如下：

$$\Omega \left(h_t\right)=\gamma J+\frac{\lambda }{2}\sum _{j=1}^J{w}_{tj}^2$$

这里的$J$是叶子节点的个数，而$w_{tj}$是第$j$个叶子节点的最优值。这里的$w_{tj}$和我们GBDT里使用的$w_{tj}$是一个意思，只是XGBoost的论文里用的是$w$表示叶子区域的值，因此这里和论文保持一致。

最终XGBoost的损失函数可以表达为：

$$L_t=\sum _{i=1}^{m}L\left(y_i,f_{t-1}\left(x_i\right)+h_t\left(x_i\right)\right)+\gamma J+\frac{\lambda }{2}\sum _{j=1}^J{w}_{tj}^2$$

最终我们要极小化上面这个损失函数，得到第$t$个决策树最优的所有$J$个叶子节点区域和每个叶子节点区域的最优解$w_{tj}$。XGBoost没有和GBDT一样去拟合泰勒展开式的一阶导数，而是期望直接基于损失函数的二阶泰勒展开式来求解。现在我们来看看这个损失函数的二阶泰勒展开式：

$$\begin{array}{rl}{L}_t& =\sum _{i=1}^{m}L\left(y_i,f_{t-1}\left(x_i\right)+h_t\left(x_i\right)\right)+\gamma J+\frac{\lambda }{2}\sum _{j=1}^J{w}_{tj}^2\\ & \approx \sum _{i=1}^m(L\left(y_i,f_{t-1}\left(x_i\right)\right)+\frac{\partial L(y_i,f_{t-1}\left(x_i\right)}{\partial f_{t-1}\left(x_i\right)}{h}_t\left(x_i\right)+\frac{1}{2}\frac{{\partial }^{2}L(y_i}{\partial f_{t-1}^2\left(x_i\right)}\end{array}$$