XGBoost

整理来源于：XGBoost

1.GBDT

• GBDT(Gradient Boosting Decision Tree)，梯度提升决策树，使用的是Boosting的思想

1.1 Boosting思想

Boosting方法训练基分类器时采用串行的方式，各个基分类器之间有依赖。它的基本思路是将基分类器层层叠加，每一层在训练的时候，对前一层基分类器分错的样本，给予更高的权重。测试时，根据各层分类器的结果的加权得到最终结果。

1.2 GBDT原理

GBDT的原理很简单，就是所有弱分类器的结果相加等于预测值，然后下一个弱分类器去拟合误差函数对预测值的残差(这个残差就是预测值与真实值之间的误差)。当然了，它里面的弱分类器的表现形式就是各棵树。

• 举一个非常简单的例子，比如我今年30岁了，但计算机或者模型GBDT并不知道我今年多少岁，那GBDT咋办呢？
  它会在第一个弱分类器（或第一棵树中）随便用一个年龄比如20岁来拟合，然后发现误差有10岁；
  接下来在第二棵树中，用6岁去拟合剩下的损失，发现差距还有4岁；
  接着在第三棵树中用3岁拟合剩下的差距，发现差距只有1岁了；
  最后在第四课树中用1岁拟合剩下的残差，完美。
  最终，四棵树的结论加起来，就是真实年龄30岁（实际工程中，gbdt是计算负梯度，用负梯度近似残差）。