Xgboost算法 36

1、Xgboost介绍

1.1、Xgboost概述

XGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。

1.2、青出于蓝

说到XGBoost，不得不提GBDT(Gradient Boosting Decision Tree)。因为XGBoost本质上还是一个GBDT，但是力争把速度和效率发挥到极致，所以叫X (Extreme) GBoosted。两者都是boosting方法。

2、Xgboost树的定义

2.1、构造决策树

先来举个例子，我们要预测一家人对电子游戏的喜好程度，考虑到年轻和年老相比，年轻更可能喜欢电子游戏，以及男性和女性相比，男性更喜欢电子游戏，故先根据年龄大小区分小孩和大人，然后再通过性别区分开是男是女，逐一给各人在电子游戏喜好程度上打分，如下图所示。

2.2、决策树集成

就这样，训练出了2棵树tree1和tree2，类似之前gbdt的原理，两棵树的结论累加起来便是最终的结论，所以小孩的预测分数就是两棵树中小孩所落到的结点的分数相加：2 + 0.9 = 2.9。爷爷的预测分数同理：-1 + （-0.9）= -1.9。具体如下图所示：

恩，你可能要拍案而起了，惊呼，这不是跟之前介绍的GBDT乃异曲同工么？

事实上，如果不考虑工程实现、解决问题上的一些差异，XGBoost与GBDT比较大的不同仅仅在于目标函数的定义。

3、Xgboost目标函数

3.1、目标函数方程

对于Boosting算法我们知道，是将多个弱分类器的结果结合起来作为最终的结果来进行输出。$f_t(x_i)$​为第 t 棵树的输出结果，${\hat{y}}_i^{(t)}$​是模型当前的输出结果，$y_i$​​ 是实际的结果。

那么：

​ ${\hat{y}}_i^{(t)}=\sum _{t=1}^t{f}_t(x_i)$​

​ ${\hat{y}}_i^{(t)}={\hat{y}}_i^{(t-1)}+f_t(x_i)$

XGBoost的目标函数如下图所示：

$Ob{j}^{(t)}=\sum _{i=1}^{n}l(y_i,{\hat{y}}_i)+\sum _{i=1}^t\Omega (f_t)$​

• 训练损失

  $\sum _{i=1}^{n}l(y_i,{\hat{y}}_i)$​

• 常见损失函数

• 

• 树的复杂度

  $\sum _{i=1}^t\Omega (f_i)$​

Xgboost包含多棵树，定义每棵树的复杂度：

​ $\Omega (f)=\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2$

​ 其中 T 为叶子节点的个数，为叶子节点向量的模 。$\gamma$ 表示节点切分的难度，$\lambda$ 表示L2正则化系数。

$Ob{j}^{(t)}=\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))+\sum _{i=1}^t\Omega (f_i)$​​​

$Ob{j}^{(t)}=\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))+\Omega (f_t)+\sum _{i=1}^{t-1}\Omega (f_i)$​​

$Ob{j}^{(t)}=\sum _{i=1}^{n}l($