xgboost 原论文精读 原理推导 + sklearn参数讲解

梯度提升树

现在站在大神的角度来回顾一下梯度提升树

正则化的目标函数

给定训练集D，含有n个样本m个特征

一个含有k棵树的集成模型


F当然就是回归决策树的空间啦。q是每棵树的结构，T是每个树的叶子数量。每棵树都有独立的树结构q以及叶子权重w。不同于决策树，每个回归树的叶子都包含了一个连续的分数，我们使用w同表示这个叶子的分数。举个例子来说，我们将使用给定树的决策规则来分类为叶子。那么最终的预测结果可以通过计算加总相对应叶子的分数来获取。

这个图在网上经常看到，但是很少人能够解释得清楚。应该这样理解，对于每个样本来说，依次放入不同的回归树中，看它最后落入哪个叶子里面。对每个的回归树中的对应叶子的分数进行加总最后得到的结果就是整个函数对应的预测。那为什么在这个图中，第一棵树是2呢，因为这个是加法模型，第一模型通常预测的分数比较大。

为了学到每个回归树模型，使用下面这个目标函数。
很自然，目标函数=损失函数+正则项
原文说，正则项是用来平滑最终的叶子权重的以此避免过拟合。直观上，正则化目标倾向于选择一个使用简单的具有预测性的函数的模型。RGF已经在使用一个简单的正则化技术了。本文使用的目标函数以及相对应的算法比RGF更简单以及易于并行化。当正则化参数为零，那么目标函数退化为梯度提升树。

梯度提升树

用下面的公式来表示第i个样本的第t次迭代，现在我们需要添加一个树函数来最小化下面的目标函数：

这意味着我们将选择的是我们模型优化最大的树函数。二阶近似可用于在一般情况下快速优