从头到尾理解树模型（三）：XGBoost及面试常见问题

XGBoost在GBDT的基础上进行了改进，效果得到了明显的提升。一大不同是显式的引入了正则化项，用来约束决策树的复杂度。本文其实只是XGBoost求解过程的推导，并没有完整讲解明白，建议参考后面的参考文献，从开始建立一棵树，真正的弄明白XGBoost。

1. 引理

1.1 目标函数

我们求解任何一个监督学习问题，都需要目标函数。
$$\mathrm{Obj}(\Theta )=L(\Theta )+\Omega (\Theta )$$

目标函数由两部分构成：损失函数和正则项。

损失函数: 用来衡量模型的拟合情况，构建更好的预测模型，eg. RMSE、Cross Entropy等。

正则项: 预测时，使得模型具有更小的方差，使得预测更加的稳定,同时避免过拟合，eg. L1、L2。

1.2 泰勒公式

泰勒公式，是我们众多优化算法推导的基础，将复杂函数优化问题，转变成多项式函数问题。

泰勒公式：
$$f(x)=\sum _{n=0}^{\infty }\frac{f^{(n)}\left(x_0\right)}{n!}{\left(x-x_0\right)}^n$$

一阶泰勒公式:
$$f(x)\approx f\left(x_0\right)+f^{\prime }\left(x_0\right)\left(x-x_0\right)$$

二阶泰勒公式:
$$f(x)\approx f\left(x_0\right)+f^{\prime }\left(x_0\right)\left(x-x_0\right)+f^{\prime \prime }\left(x_0\right)\frac{{\left(x-x_0\right)}^2}{2}$$

2. XGBoost模型原理：

2.1 树集成：

前面已经介绍了，集成学习，也就是多棵树的集成，针对XGBoost详细介绍，集成的原理。前面的介绍的集成树，多是使用的普通决策树。GBDT引入回归树(CART)(classification and regression trees)。在XGBoost中不仅使用CART同时包括分类线性回归。

一颗CART树：

同样是对是否有人喜欢电脑游戏进行分类：

我们把一个家庭的成员分成不同的叶子，并把他们分配到相应的叶子节点上。 CART 与 decision trees（决策树）有些许的不同，就是叶子只包含决策值。在 CART 中，每个叶子都有一个 real score(真实的分数).

多颗树：

使用多棵树预测，能显著提高我们的准确率，前面已经提到过。

树的集成归根到底是Boosting模型，Boosting的实质是个加性模型。

$$\begin{array}{rl}{\hat{y}}_i^{(0)}& =0\\ {\hat{y}}_i^{(1)}& =f_1\left(x_i\right)={\hat{y}}_i^{(0)}+f_1\left(x_i\right)\\ {\hat{y}}_i^{(2)}& =f_1\left(x_i\right)+f_2\left(x_i\right)={\hat{y}}_i^{(1)}+f_2\left(x_i\right)\\ & \cdots \\ {\hat{y}}_i^{(t)}& =\sum _{k=1}^t{f}_k\left(x_i\right)={\hat{y}}_i^{(t-1)}+f_t\left(x_i\right)\end{array}$$
其实就是，第ｔ颗树的第ｉ个样本的推导公式，不断从前面建立递推公式。

所以可以将模型的预测结果表示为：
$${\hat{y}}_i=\sum _{k=1}^K{f}_k\left(x_i\right),f_k\in \mathcal{F}$$

$f_i(x)$是单颗树的预测结果。

2.2 数学推导：

1. 建立该模型的目标函数：

$$Obj(\Theta )=\sum _i^{n}l\left(y_i,{\hat{y}}_i\right)+\sum _{k=1}^K\Omega \left(f_k\right)$$

2.修改目标函数：根据上式对目标函数进行具体化

$$Ob{j}^{(t)}=\sum _{i=1}^{n}l\left(y_i,{\hat{y}}_i^{(t)}\right)+\sum _{i=1}^t\Omega \left(f_i\right)=\sum _{i=1}^{n}l\left(y_i,{\hat{y}}_i^{(t-1)}+f_t\left(x_i\right)+\Omega \left(f_t\right)\right)$$

使用MSE(均方误差)作为误差函数:$$\begin{array}{rl}Ob{j}^{(t)}& =\sum _{i=1}^n{\left(y_i-\left({\hat{y}}_i^{(t-1)}+f_t\left(x_i\right)\right)\right)}^2+\Omega \left(f_t\right)+const\\ & =\sum _{i=1}^n\left[\left(2\left({\hat{y}}_i^{(t-1)}-y_i\right)f_t\left(x_i\right)+f_t{\left(x_i\right)}^2\right]\right)+\Omega \left(f_t\right)+\text{const }\end{array}$$

3.对目标函数进行二阶泰勒公式展开：

$$\begin{gathered} Ob{j}^{(t)}=\sum _{i=1}^n\left[l\left(y_i,{\hat{y}}_i^{(t-1)}\right)+g_i{f}_t\left(x_i\right)+\frac{1}{2}{h}_i{f}_t^2\left(x_i\right)\right]+\Omega \left(f_t\right)+const \\ =\sum _{i=1}^n\left[g_i{f}_t\left(x_i\right)+\frac{1}{2}{h}_i{f}_t^2\left(x_i\right)\right]+\Omega \left(f_t\right) \end{gathered}$$

$$\begin{array}{rl}{g}_i& ={\partial }_{{\hat{y}}_i^{(t-1)}}l\left(y_i,{\hat{y}}_i^{(t-1)}\right)\\ h_i& ={\partial }_{{\hat{y}}_i^{(t-1)}}^{2}l\left(y_i,{\hat{y}}_i^{(t-1)}\right)\end{array}$$
为什么使用二阶泰勒展开：

• 精准性：相对于GBDT的一阶泰勒展开，XGBoost采用二阶泰勒展开，可以更为精准的逼近真实的损失函数

• 可扩展性：损失函数支持自定义，只需要新的损失函数二阶可导。

4.定义一棵树和正则项：

f t ( x ) = w q ( x ) , w ∈ R T , q : R d → { 1 , 2 , ⋯   , T } f_{t}(x)=w_{q(x)}, w \in R^{T}, q : R^{d} \rightarrow\{1,2, \cdots, T\} ft​(x)=wq(x)​,w∈RT,q:Rd→{1,2,⋯,T}

$$\Omega (f)=\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2$$

$w$: 叶结点预测值，也就是我们开始人物头像下面的那个分数；
$q$: 是将每个数据点分配给叶子的函数;
$T$: 叶子的数量

5.修改目标函数的树定义和复杂度：将（1）和（2）带入我们前面得到的公式

$$\begin{array}{rl}Ob{j}^{(t)}& \approx \sum _{i=1}^n\left[g_i{w}_{q\left(x_i\right)}+\frac{1}{2}{h}_i{w}_{q\left(x_i\right)}^2\right]+\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2\\ & =\sum _{j=1}^T\left[\left(\sum _{i\in I_j}{g}_i\right)w_j+\frac{1}{2}\left(\sum _{i\in I_j}{h}_i+\lambda \right)w_j^2\right]+\gamma T\end{array}$$

$$=\sum _{j=1}^T\left[G_j{w}_j+\frac{1}{2}\left(H_j+\lambda \right)w_j^2\right]+\gamma T$$

6.模型最优解：

看到曙光，上式是关于$W_j$的二次函数，利用求根公式即可:$w_j^{\ast }=-\frac{G_j}{H_j+\lambda }$ 时取得最优解。

最优解是：$Ob{j}^{\ast }=-\frac{1}{2}{\sum }_{j=1}^T\frac{G_j^2}{H_j+\lambda }+\gamma T$

鉴于公式复杂，给出一副简单图，说明每个变量到底是任何计算的。

而这一节第一幅图中的样本的分数，从上图就可以明白了。

7. 学习树的结构：

我们尝试将一片叶子分成两片，那如何判断是否要进行划分，我们使用下面的公式：
$$\mathrm{Gain}=\frac{1}{2}\left[\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_R+\lambda }-\frac{{\left(G_L+G_R\right)}^2}{H_L+H_R+\lambda }\right]-\gamma$$
公式分解：

1. 新左叶上的得分;
2. 新右叶上的得分;
3. 原始叶子上的得分;
4. additional leaf（附加叶子）上的正则化。

判断标准： 如果增益小于正则化(gama)，我们最好不要添加那个分支。

3.XGBoost VS GBDT:

	GBDT	XGBoost
定义	是ML的某种算法	是GBDT算法的工程实现
正则项	无	显式的加入，控制过拟合
泰勒展开	损失函数的一阶信息	损失函数的二阶信息
基础分类器	CART	多种分类器
数据使用	使用全部数据	支持采样col_sample和subsample
缺失值	未进行处理	自动学习
并行化	不支持并行	特征维度并行，并行查找每个特征的最佳分割点
控制过拟合		支持列抽样,样本采样,正则项

4. XGBoost常见问题：

xgboost是如何处理缺失值的：

• 寻找最佳分裂节点时, 只对该列特征值为 non-missing 的样本上对应的特征值进行遍历;
• 缺失值数据会被分到左子树和右子树分别计层损失，选择较优的那一个
• 如果训练中没有数据缺失，预测时出现了数据缺失，那么默认被分类到右子树

xgboost是如何实现并行化的：

boosting技术中下一棵树依赖上述树的训练和预测，所以树与树之间应该是只能串行。在选择特征最佳分裂点，进行枚举的时候并行！（据说恰好这个也是树形成最耗时的阶段）。
同层级节点可并行。具体的对于某个节点，节点内选择最佳分裂点，候选分裂点计算增益用多线程并行。

xgboost特征重要性是如何得到的：

xgboost特征重要性从3个指标进行计算，可以用通过修改importance_type参数来选择不同的指标。

1. ’weight‘：代表着某个特征被选作分裂结点的次数；
2. ’gain‘：使用该特征作为分类结点的信息增益；
3. ’cover‘：某特征作为划分结点，覆盖样本总数的平均值；

学习率是怎么回事：

实际并不是梯度下降等算法中常见的学习率（步长），而是一个衰减因子，代表当前树继续训练过程中衰减的参数。第一棵树的对数据的拟合效果并不好，为了适当的减小前面的树的影响。引入了衰减因子，GBDT中已经引用，用于控制过拟合。
Why does XGBoost have a learning rate?

参考资料：

1. 机器学习算法中 GBDT 和 XGBOOST 的区别有哪些
2. GBDT算法原理深入解析
3. 通俗的将Xgboost的原理讲明白
4. xgboost原理及并行实现
5. XGboost: A Scalable Tree Boosting System论文及源码导读
6. 学习笔记 | XGBoost
7. 决策树、RF、xgboost如何处理缺失值？判断特征重要性？缺失值不敏感？-CSDN
8. 怎么理解决策树、xgboost能处理缺失值？而有的模型(svm)对缺失值比较敏感呢?
9. xgboost原理
10. Complete Guide to Parameter Tuning in XGBoost (with codes in Python)
11. xgboost入门与实战（原理篇）
12. 通俗、有逻辑的写一篇说下Xgboost的原理，供讨论参考
13. XGBoost 中文文档
14. 用xgboost模型对特征重要性进行排序
15. 通俗理解kaggle比赛大杀器xgboost
16. XGBoost详解
17. XGBoost原理和底层实现剖析
18. xgboost原理分析以及实践
19. 珍藏版 | 20道XGBoost面试题
20. Xgboost参数调优的完整指南及实战
21.『我爱机器学习』集成学习（三）XGBoost
22.对xgboost的理解