GBDT由一系列的回归树组成,如下图所示(树的深度未必都要一样,下图仅为示意图)。
GBDT原理
针对每一个类别训练一系列的回归树,再累加每个类别回归树的预测值得到针对每个类别的最终的预测值。单独拿一个类别来说,训练的过程中假设需要预测的值为 f(xi) ,实际的值为 yi ,有Loss Function L(yi,f(xi)) , f(xi) 为参数。训练的过程就是让Loss Function最小化的过程。最小化可以通过梯度下降完成,令Loss Function对参数 f(xi) 求梯度有
gf(x)=∂L(yi,f(xi))∂f(xi)
那么,只要参数 f(xi) 不断往梯度方向变化,Loss Function就会减小直至收敛。即每一次迭代为
f(