GBDT梯度提升决策树

一、GBDT梯度提升决策树的概念

GBDT算法是是有boosting思想和决策树组成的，是一个由多个弱学习器组成的集成学习。GBDT算法的每一个弱学习器模型的建立是为了消除上一次的残差(使用函数空间梯度下降的方法)

注意：残差是通过损失的出来的，学习率shrinkage 得用

二、GBDT应用于回归(残差、负梯度、回归树)

1、回归树

2、每棵树训练的真实值是负梯度(残差)

3、GBDT应用于回归问题的总体流程

4、GBDT应用于回归问题总结

  

 三、应用GBDT做二分类任务

1、原理

分类模型的预测y_hat  

其中就是学习到的决策树 （弱学习器）

使用逻辑回归作为二分类任务的base model

则单个样本的损失函数为

 

 2、GBDT应用于二分类算法流程总结

注意： 这个负梯度的是传给下一时刻的预期值的

 

 

 四、GBDT做多分类任务

1、原理

使用softmax作为base model

每个样本属于每个类别的概率

 

五、GBDT用于回归、二分类、多分类任务的相同点和不同点：

1、相同点：

             都是使用残差拟合下一棵树，使用了回归树

             分裂指标都是mse

2、不同点：

•  使用损失函数的不同

• 叶子节点分值计算不同

• 初始值的方式不同

六、叶子节点分值计算

 

1、回归的叶子节点分值是求平均

2、二分类的叶子节点分支

 于是我们所得到叶子分值的近似值 

 

 

3、多分类的叶子节点分支

七、特征选择

 

 

八、特征组合降维在GBDT+LR架构上的应用

1、架构图

 

2、流程

2.1 训练

• 训练好GBDT用作二分类的强学习器
• 把GBDT训练好的模型的特征进行编码
• 训练lr模型

2.2 预测

• 新的数据进入gbdt获取到特征编码(one-hot)
• 把特征编码后的进行逻辑回归预测