GBDT和XGBoost

前向分步算法

考虑加法模型：
$$f(x)=\sum _{i=1}^M{\beta }_{i}b(x;{\gamma }_i)$$
其中$b(x;{\gamma }_i)$，${\beta }_i$分别为基函数和基函数的系数。

在给定训练数据和损失函数$L(y,f(x))$的情况下，学习加法问题成为一个极小化问题：
$$({\beta }_m,{\gamma }_m)={\arg }_{\beta ,\gamma }\min \sum _{i=1}^{N}L(y_i,f_{m-1}(x)+\beta b(x;\gamma ))$$
其中
$$f_{m-1}(x)=\sum _{i=1}^{m-1}{\beta }_{i}b(x;{\gamma }_i)$$

##算法

Adaboost

令 y ∈ { − 1 , 1 } y\in\{-1,1\} y∈{−1,1}，选择指数损失函数：
$$L(y,f(x))=exp(-yf(x))$$
同时规定所有的基函数满足 b ( x ; γ ) ∈ { − 1 , 1 } b(x;\gamma)\in\{-1,1\} b(x;γ)∈{−1,1}，利用前向分步算法，我们每一步需要极小化
\begin{align*}
(\beta_m,\gamma_m)&=\arg_{\beta,\gamma} \min L_m\
&=\arg_{\beta,\gamma} \min\sum_{i=1}^{n}exp(-y_i(f_{m-1}(x_i)+\beta b(x;\gamma)))\
&=\arg_{\beta,\gamma} \min \sum_{i=1}^{n}\overline{w}_{m,i}exp(-y_i\beta \cdot b(x;\gamma))
\end{align*}
其中 ${\overline{w}}_{m,i}=exp(-y_i{f}_{m-1}(x_i))$与$\gamma ,\beta$均无关。

Gradient Boosting

在前向分步算法中，我们每一步迭代需要计算
$$({\beta }_m,{\gamma }_m)={\arg }_{\beta ,\gamma }\min \sum _{i=1}^{N}L(y_i,f_m(x))$$
其中
$$f_m(x)=\sum _{j=1}^m{\beta }_{j}b(x;{\gamma }_j)$$
现在我们换一种思路，上式可以写为：
$$L^{\prime }(f_m(x_1),f_m(x_2),\cdots ,f_m(x_N))=\sum _{i=1}^{N}L(y_i,f_m(x))$$
此时损失函数可以看成是关于 ${f_{m}(x_i)} $的函数，这个时候就可以用梯度下降算法来求解：
\begin{align*}
&\frac{\partial{L^{\prime}(f_m(x_1),f_m(x_2),\cdots,f_m(x_N))}}{\partial{f_m(x_i)}}=\frac{\partial{L(y_i,f_m(x_i))}}{\partial{f_m(x_i)}}\
& f_{m+1}(x_i)=f_{m}(x_i)-\beta_{m+1}\frac{\partial{L(y_i,f_m(x_i))}}{\partial{f_m(x_i)}}
\end{align*}
这里的步长不是定值：

即每一步训练一个$b(x:{\gamma }_m)$来拟合当前损失函数的负梯度（伪残差）。

算法

对于回归任务，最常用的损失函数是L2测度，此时

刚好是模型的残差。

另外常用的损失函数还有 L1 测度和修正的Huber loss函数（L1测度存在不可导点）

• L1测度（绝对值损失函数）：
  
• Huber 损失函数：
  

Gradient Tree Boosting

Gradient boosting 一般使用决策树（尤其是CART，Classification And Regression Tree）作为基础分类器。针对这种特殊情况，Friedman设计了一个修正的gradient boosting 算法。

在第m步，模型需要拟合一颗决策树$ b_{m}(x)$. 令 $J_m $是叶子数目，该决策树将输入空间分配到不相交的 $J_m$ 个区域中： $R_{1m},\ldots,R_{J_{m}m} $，并把每一个区域中的输入预测为常数。利用示性函数，我们可以把决策树的输出写为：
$$b_m(x)=\sum _{j=1}^{J_m}{v}_{jm}\mathcal{I}(x\in R_{jm})$$
其中 $v_{jm}$ 是对应区域预测的值。
将该系数乘以某个值，并利用线性搜索方法使得损失函数最小化（不懂）：

Friedman 提出可以针对每一个区域选出一个最好的乘子 \beta, 并且把这种方法称为 “Tree Boost”:

参数

XGBoost

机器学习算法中GBDT和XGBOOST的区别有哪些?（来源于知乎wepon的回答）:

• 传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。

• 传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下，xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导。

• xgboost在代价函数里加入了正则项，用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。从Bias-variance tradeoff角度来讲，正则项降低了模型的variance，使学习出来的模型更加简单，防止过拟合，这也是xgboost优于传统GBDT的一个特性。

• Shrinkage（缩减），相当于学习速率（xgboost中的eta）。xgboost在进行完一次迭代后，会将叶子节点的权重乘上该系数，主要是为了削弱每棵树的影响，让后面有更大的学习空间。实际应用中，一般把eta设置得小一点，然后迭代次数设置得大一点。（补充：传统GBDT的实现也有学习速率）
  

• 列抽样（column subsampling）。xgboost借鉴了随机森林的做法，支持列抽样，不仅能降低过拟合，还能减少计算，这也是xgboost异于传统gbdt的一个特性。
  

• xgboost工具支持并行。boosting不是一种串行的结构吗?怎么并行的？注意xgboost的并行不是tree粒度的并行，xgboost也是一次迭代完才能进行下一次迭代的（第t次迭代的代价函数里包含了前面t-1次迭代的预测值）。xgboost的并行是在特征粒度上的。我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），xgboost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。这个block结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。

• 可并行的近似直方图算法。树节点在进行分裂时，我们需要计算每个特征的每个分割点对应的增益，即用贪心法枚举所有可能的分割点。当数据无法一次载入内存或者在分布式情况下，贪心算法效率就会变得很低，所以xgboost还提出了一种可并行的近似直方图算法，用于高效地生成候选的分割点

XGBoost参数

---

参考资料

从加法模型讲到XGBoost模型