GBDT
GBDT,梯度提升决策树,是一种以决策树为base learner的集成方法,以串行的方式,不断的学习新的base learner,每次都朝目标前进一些,形成一系列base learner,最终由这一系列base learner进行线性组合得到最终的ensemble learner,表示如下:
,其中表示第t轮迭代的base learner,表示第t轮迭代的ensemble learner。
设损失函数为L,使用梯度下降法来更新F,有,其中为学习率或步长
可以看到第t轮迭代的base learner与(loss对之前的ensemble learner的)梯度成线性关系,所以这也是GBDT中gradient boosting部分的由来。
在GBDT中,base learner是用树模型来表示的,构造一棵决策树去逼近一阶梯度,