XGB算法梳理

引言

XGBoost（eXtreme Gradient Boosting）是大规模并行boosted tree的工具，它是目前最快最好的开源boosted tree工具包，比常见的工具包快10倍以上。在数据科学方面，有大量kaggle选手选用它进行数据挖掘比赛，如果你的算法预测结果不好，赶紧试试XGBoost吧。在工业界规模方面，xgboost的分布式版本有广泛的可移植性，支持在YARN, MPI, Sungrid Engine等各个平台上面运行，并且保留了单机并行版本的各种优化，使得它可以很好地解决于工业界规模的问题。

XGBoost其实是对前面所讲的GBDT算法的一种改良实现，主要包括了正则化、损失函数、学习策略、并行实现等一些方面。

1、算法原理

算法思想就是不断地添加树，不断地进行特征分裂来生长一棵树，每次添加一个树，其实是学习一个新函数，去拟合上次预测的残差。当我们训练完成得到k棵树，我们要预测一个样本的分数，其实就是根据这个样本的特征，在每棵树中会落到对应的一个叶子节点，每个叶子节点就对应一个分数，最后只需要将每棵树对应的分数加起来就是该样本的预测值。

　注：w_q(x)为叶子节点q的分数，f(x)为其中一棵回归树

如下图例子，训练出了2棵决策树，小孩的预测分数就是两棵树中小孩所落到的结点的分数相加。爷爷的预测分数同理。

2、损失函数

对于回归问题，我们常用的损失函数是MSE，即：

对于分类问题，我们常用的损失函数是对数损失函数：

XGBoost目标函数定义为：