理解GBDT

一、Gradient Boosting(GB)
Boosting是一种通过迭代的方法将基分类器组合起来得到强分类器的方法，基分类器原则上可以选择不同的分类器，GBDT是选用树模型作为基分类器。GBDT每一次迭代是拟合上一次残差，但对任意的目标函数，计算大量的样本在学习完一棵树以后的预测值和真实值之间的差值会使计算量非常大，虽然可以直接最小化当前的残差值，但对于复杂的目标函数，可以用梯度来近似计算这个残差，将梯度作为残差的一个预估。这是一种启发式的方法，因此不能获得一个精确的解，但可以获得一个较好的近似。用梯度来近似计算残差，可以把目标函数设定为任意的可导的目标函数。