xgboost算法_xgboost算法过程推导

XGBoost全名叫（eXtreme Gradient Boosting）极端梯度提升，经常被用在一些比赛中，其效果显著。它是大规模并行boosted tree的工具，它是目前最快最好的开源boosted tree工具包。XGBoost 所应用的算法就是 GBDT（gradient boosting decision tree）的改进，既可以用于分类也可以用于回归问题中。

---

XGBoost原理推导

对于XGBoost的预测模型同样可以表示为：

其中，K为树的总个数，kf表示第k颗树，yi表示样本Xi的预测结果。

其中损失函数也同样表示为：

其中l(yi,yi)为样本Xi的训练误差，

（fk）表示第k棵树的正则项。

我需要求解和优化的就是每个叶子节点的得分值，也就是f(x)的值。另外我们知道XGBoost是以CART树中的回归树作为基分类器，在给定训练数据后，其单个树的结构(叶子节点个数、树深度等等)基本可以确定了。但XGBoost并不是简单重复的将几个CART树进行组合。它是一种加法模型，将模型上次预测(由t-1棵树组合而成的模型)产生的误差作为参考进行下一棵树(第t棵树)的建立。以此，每加入一棵树，将其损失函数不断降低。如下图就为加法模型案例，它将模型预测值与实际值残差作为下一颗树的输入数据:

对于加法策略可以表示如下：

　　初始化(模型中没有树时，其预测结果为0)：

　　往模型中加入第一棵树：

　　往模型中加入第二棵树：

　　　　　　　　　　　　　　　　　…

　　往模型中加入第t棵树：

其中f(x)表示第k棵树，yt表示组合t棵树模型对样本Xi的预测结果。

我们知道，每次往模型中加入一棵树，其损失函数便会发生变化。另外在加入第t棵树时，则前面第t-1棵树已经训练完成，此时前面t-1棵树的正则项和训练误差都成已知常数项。对于每棵树的正则项部分，我们将在后面再细说。

　　如果损失函数采用均方误差时，其目标损失函数变为：

另外对于目标损失函数中的正则项(复杂度)部分，我们从单一的树来考虑。对于其中每一棵回归树，其模型可以写成：

　　其中W为叶子节点的得分值，q(x)表示样本X对应的叶子节点。T为该树的叶子节点个数。

因此，在这里。我们将该树的复杂度写成：

　　复杂度计算例子如下：

此时，对于XGBoost的目标函数我们可以写为：

　　现在我们只需要找到f(t)来优化上式目标。

　　在推导之前，我们先介绍下泰勒展开式：

这里我们用泰勒展开式来近似原来的目标函数，将f(t)x(i)看作

x。则原目标函数可以写成：

令

同时对于第t棵树时，

为常数。同时去除所有常数项。故目标损失函数可以写成：

由上面介绍书的复杂度时，我们知道：

同时我们将目标函数全部转换成在第t棵树叶子节点的形式。因为目前对于

可以看做是每个样本在第t棵树的叶子节点得分值相关函数的结果之和，所以我们也能从第t棵树的叶子节点上来表示。

上式中，前两行 i=1~n 求和为在样本中遍历，后两行 j = 1~T求和为在叶子节点上遍历，其中T为第t棵树中总叶子节点的个数，

表示在第j个叶子节点上的样本，Wj为第j个叶子节点的得分值。

在这里，令

则：

对Wj求偏导，并使其导函数等于0，则有：

求解得：

其目标函数可以为：

根据目标函数，如何分裂样本数据呢

文章转载自：https://www.cnblogs.com/zongfa/p/9324684.html