超级算法之XGBoost

XGBoost(Extreme Gradient Boosting)：Boosting思想是将许多弱分类器集成在一起形成一个强分类器。XGBoost是集成算法的王牌算法，它可以使用多种分类器，线性分类器也可以使用，它是将众多的弱分类器集成在一起，从而形成一个强分类器。在Kaggle数据挖掘比赛中，XGBoost基本成为了必用的算法，因为它的效率高，而且效果好。

XGBoost算法思想
XGBoost的算法思想就是通过不断的添加树，不断地进行特征分裂来生长一棵树，每次添加一棵树，就是学习一个新的函数，去拟合上一棵树的残差。当我们训练完m棵树时，会发现每一个样本会落入多个叶子节点，每个叶子节点都会有一个预测值，最终的预测结果就是每个叶子节点预测值相加的结果。

我们用上图的例子进行说明，经过不同特征的分类，男孩最终落入到两个叶子节点中。男孩的预测值就是f(boy) = 2+0.9 = 2.9。
XGBoost数学原理
数学推导如图：