xgboost 一般多少棵树_通俗易懂XGBoost原理及计算公式

对于xgboost的理解一直处在半知不解的情况，知道这个东西，大致知道这个原理；

但是让自己说一遍的它的原理的时候，发现根本说不出什么：它就是一个一棵树，用boost的方式串行，让模型上下相关联，关联的方式是用残差。

那具体是怎么构建这棵树的呢？怎么通过残差进行上下关联？怎么计算目标函数的？

带着这个问题查了资料，看到了一篇真的通俗易懂的文章，而且很深入。

王改改：【通俗易懂】XGBoost从入门到实战，非常详细​zhuanlan.zhihu.com

通过自己的理解，再咀嚼后，记录此笔记。

一、进入模型前的简单案例

在上一篇文章中的案例，通俗的讲解了思路：

训练出第一个模型，计算其预测结果及残差；

然后再以当前模型的残差，作为下一个模型的实际输出，将其与下一个模型的预测结果作对比，得出这个模型的残差；

再迭代到下一个......（看案例中的图更容易理解）

最终的输出结果是所有模型的预测结果之和

这个案例解决了我在看其他人写xgboost案例时看不懂的地方，其他地方写的都是以家庭中每个人的那个作为案例。我看的时候完全不知道它到底想干嘛，最后为什么又是把所有结果加起来，直到我看到了这位作者后才真正直到原理。

二、构建损失函数

个人在学习机器学习和深度学习的时候，除了要了解原理，另外最重要的就是要重点知道该算法的损失函数是怎么计算的！这是每个算法的核心。

假设我们已经训练了

棵树，对于第

个样本的最终预测值是等于：

其中

表示样本特征，

表示第

棵树对样本

的预测结果，最后把这些值都相加在一起就得到了最终的结果

再结合真实的结果label是

，就可以构建损失函数(到当前

棵树累计的损失函数)：

其中

表示损失函数，常见的损失函数都可以用，像MSE、交叉熵cross entropy等;

后一项是用来控制复杂度的，类似于l1，l2正则，可以防止过拟合。

对于目标函数我们可以再拆开，类似于动态规划的思想，将

和

拆成与上一个相关联的公式

这其中就是将

变成和上一个相关的

，

变成了

，这两个公式前面一项都是之前计算好的，已知的，所以可以看作是优化如下的损失函数，使其最小：

通过泰勒展开近似损失函数

泰勒展开式为：

将损失函数套用上泰勒展开，

对应

，

对应

，

对应

;

即可得

代入损失函数即可得：

再重复一遍，当前目标函数是训练第

颗树时的函数，

这一项是在计算

棵树为止的预测结果的损失累加值，而这些在计算第

颗树时，其实都是已知的，不参与优化过程。所以上式的

、

和

都是已知的。后两项可以分别用

和

表示，再优化后，损失函数只需优化如下式子即可：

如上所说，

和

是已知的，现在要优化函数的话，需要把

、

参数化。

定义树的复杂度

一颗树的复杂度可以用叶节点个数和节点值计算得：

给两个都乘上一个超参数，用来控制他们，

是为了后续方便求导计算：

最终可以再优化得到：

最后得：

我们知道

最小值的点为：

所以，所以当树的结构固定，也就是说

固定的话，在中括号中的最佳

为：

将

带入到

中可得，

当前树结构下的最佳的目标函数值：

其中

和

表示

和

，都是已知的，和一阶导，二阶导对应的。

三、构建树的形状

在得到了损失函数，就可以开始构建树了，那怎么构建树呢？贪心算法！

没错，先计算当前树的损失函数，再穷举出所有可能性，然后计算所有穷举后的损失函数，然后取损失函数降的最多的那棵树最为当前树的形状，然后再重复......直到损失函数减少的不够多的时候，我们可以设个阈值，就可以停下来！

「卓拾书非卓师叔」

作者：卓师叔，爱书爱金融的NLPer

了解更多和AI、金融相关的知识，请关注公众号：卓拾书非卓师叔