高级算法梳理-Task3 XGB算法简介

本文根据多篇博文整理总结而成

XGBoost（eXtreme Gradient Boosting）--极端梯度提升,XGBoost是boosting算法的其中一种。Boosting算法的思想是将许多弱分类器集成在一起形成一个强分类器。因为XGBoost是一种提升树模型，所以它是将许多树模型集成在一起，形成一个很强的分类器。它是 Gradient Boosting Machine 的一个 c++ 实现，并在原有的基础上加以改进，从而极大地提升了模型训练速度和预测精度。作者为研究机器学习的大牛陈天奇.

在XGBoost中，目标函数的形式为：

                                                  

为损失函数,常用损失函数有平方损失和Logistic损失.为正则化项.引入目的是希望生成的模型能准确的预测新的样本（测试数据集），而不是简单的拟合训练集的结果（导致过拟合）.

XGBoost的推导过程

在集成学习中把某一次迭代后集成的模型表示为：

                                                 

相对应的目标函数：

                                       

将这两个公式进行扩展，应用在前