GBDT
英文全称:Gradient Boosting Decision Tree 。
一句话解释:以决策树为基模型(base model),以损失函数的负梯度为学习目标的boosting集成模型
这句话有三个概念:决策树,损失函数的负梯度,boosting
对第一个基本概念的解释:
决策树主流有三类ID3,C4.5,CRAT树。gbdt的基模型是CART树。
id3使用信息增益作为分裂点选择
C4.5使用信息增益比作为分裂点选择
cart树使用基尼系数作为分裂点选择
第二个基本概念的解释:
损失函数的负梯度本身是优化算法中特征权重的更新方向和大小。为什么GDDT的基模型要去拟合损失负梯度,而不是拟合y,或者拟合y- ^y?
1.GBDT整体上是拟合y的,但是每个基模型不是去拟合y,如果是的话就是bagging集成模型,比如随机森林
2.GBDT的基模型为什么不是拟合残差。将下式一阶展开,可以发现若移动负梯度是最小化损失函数的方向。
如果不考虑正则项,并且使用平方误差,拟合残差是没有问题的。在有正则项的情况下就不再是损失函数最小了。
第三个基本概念的解释:
集成模型是把若干个基模型(也称“弱学习器”)按照一定的策略组合起来,发挥1+1>2的作用。集成模型主要有三种集成策略,bagging, stacking,boosting。
Bagging集成:各个基模型训练相互独立。在回归