【机器学习面试】（四）结合论文理解XGBoost推导过程

前言

XGBoost是一个可扩展的提升树模型，论文“XGBoost: A Scalable Tree Boosting System”发表在2016年的KDD会议上。文章包括了XGBoost的原理以及对其的优化。本文主要分享XGBoost的推导过程，包含论文内容2.1-2.2部分，这里假设你已掌握决策树、GBDT的相关知识。

本文约2.7k字，预计阅读10分钟。

XGBoost原理

XGBoost最关键的思想就是采用二阶导来近似取代一般损失函数。整个推导过程分为以下几个步骤（问题）：

1. 目标函数的构造；

2. 目标函数难以优化，如何近似？

3. 将树的结构（参数化，因为模型的学习参数在树中）融入到目标函数；

4. 如何构造最优（局部）二叉树？采用贪心算法；

目标函数定义

首先我们假设一个数据集中包含 个样本以及每个样本有 个特征，因此数据集可以定义为：

对于提升树模型来说，我们假设共有 个叠加函数（additive functions，即决策树），那么整个模型可以表示为：

其中：

• ：表示模型对样本的预测值；

• ：模型函数；

• ：表示单个样本；

• ：表示第 决策树；

• ；表示决策树的空间集合；

我们要学习上述集成模型函数（也称加法模型），则需要最小化正则化后的损失函数（即目标函数，正则化是对复杂决策树的惩罚）：

表示第 个决策树的复杂度，这里我们先不去参数化 和 。

梯度提升算法

问题1： 对于上述的目标函数，其实很难在欧氏空间中使用传统的优化方法。

因此，提升树模型采用前向分步的学习方法。假设 表示在第 次迭代时对第 个样本的预测，那么我们可以将目标函数转化为以下形式（这里假设你已掌握提升树算法的知识）：

其中， 表示第