独家 | XGBoost介绍：用监督学习来预测期望寿命

作者：Luciano Strika

翻译：吴振东

校对：车前子

本文约4000字，建议阅读14分钟。

本文将介绍XGBoost的定义，并利用这一模型对人类指数官方数据集进行回归预测。

一座漂亮的森林，是如此的随机！来源：Pixabay

 

今天我们将会用XGBoost提升树对人类发展指数官方数据集进行回归预测。XGBoost是一种可以使用提升树进行多核并行训练的框架。今天我们将用XGBoost提升树对人类发展指数官方数据集进行回归预测。谁说监督学习全都是针对分类问题的？

XGBoost：是什么？

XGBoost是一种Python框架，它可以让我们使用提升树进行多核并行训练。在R语言中同样可以使用XGBoost，但在这里我们不多做介绍。

任务：回归

提升树是一种针对回归的机器学习模型。这意味着给模型输入集和数值标签，模型可以估计出一个函数使所输出的标签与输入相匹配。与分类问题不同，我们这里所关心的标签是连续值，而不是一组离散的类别值。

举个例子，我们已知一个人的体重和年龄，想预测他的身高，而不是将ta划分为男性、女性或其他类别。

对于每棵决策树，我们都是从根节点开始，然后根据判断结果分配到左边或右边子节点。最终，我们可以到达叶节点并返回这个叶节点中的值。

XGBoost模型：什么是梯度提升树？

提升树和随机森林很相似：他们都是决策树的融合。不管怎样，每个叶节点会在我们的预测空间上返回一个数值（或是向量）。

针对每一个非叶节点的子节点，提升树都需要决定：在一个确定的特征值和一个临界值之间进行数值比较。

目前只是定义了一棵回归树。提升树和随机森林到底有什么区别呢？

提升树和随机森林：不同之处

训练一棵提升树与随机森林不同，每次增加一颗新树时我们都需要改变标签。

对于每颗新树，我们需要用原始标签值减去前面所有树的预测值之和与学习率的乘积，来更新标签。

这样一来，每棵树都可以通过更正前面所有树的错误来进行有效的学习。

因此，在预测阶段，我们只需要直接返回所有树的预测值之和，再乘以学习率就可以了。

这也意味着，与随机森林和打包决策树不同，如果我们随意增加树的数量，那么这个模型就会过拟合。我们现在将要学习如何来解释这个问题。

想要更多地了解提升树，我强烈建议你去阅读XGBoost的官方文档。我从中学到了很多东西，文档中有一些精美的图片可以解释其中的基础知识。

<