xgboost简单介绍_XGBoost 原理及应用

1.背景

关于xgboost的原理网络上的资源很少，大多数还停留在应用层面，本文通过学习陈天奇博士的PPT地址和xgboost导读和实战 地址，希望对xgboost原理进行深入理解。

2.xgboost vs gbdt

说到xgboost，不得不说gbdt。了解gbdt可以看我这篇文章 地址，gbdt无论在理论推导还是在应用场景实践都是相当完美的，但有一个问题：第n颗树训练时，需要用到第n-1颗树的(近似)残差。从这个角度来看，gbdt比较难以实现分布式(ps：虽然难，依然是可以的，换个角度思考就行)，而xgboost从下面这个角度着手

注：红色箭头指向的l即为损失函数；红色方框为正则项，包括L1、L2；红色圆圈为常数项。

利用泰勒展开三项，做一个近似，我们可以很清晰地看到，最终的目标函数只依赖于每个数据点的在误差函数上的一阶导数和二阶导数。

3.原理

(1)定义树的复杂度

对于f的定义做一下细化，把树拆分成结构部分q和叶子权重部分w。下图是一个具体的例子。结构函数q把输入映射到叶子的索引号上面去，而w给定了每个索引号对应的叶子分数是什么。

定义这个复杂度包含了一棵树里面节点的个数，以及每个树叶子节点上面输出分数的L2模平方。当然这不是唯一的一种定义方式，不过这一定义方式学习出的树效果一般都比较不错。下图还给出了复杂度计算的一个例子。

</