一、GBDT 基本原理
0、GBDT利用的是CART回归树损失函数的一阶负梯度来近似模拟当前模型的真实值(实际上是上一轮模型预测值与真实值的残差),从而达
到减小损失函数的目的。
1、GBDT基模型必须是CART回归树(无论是分类问题还是回归问题),而Adaboost基模型可以是多个类别,默认为CART决策树。
2、GBDT模型的根本目的:模型要求训练集样本的预测值与真实值的残差尽可能的小,多轮迭代预测值与真实值的残差为y值,直至
达到迭代条件。
3、GBDT与Adaboost(前向分布式算法) 都属于加法模型,Adaboost预测结果是所有轮基模型按照子模型权重系数投票累加而
成,GBDT预测结果是所有轮子模型预测结果累加而成的。
4、GBDT回归问题和分类问题的思想是一样的,都是利用损失函数负梯度的值来近似模拟当前子模型预测残差值,用残差值代替下
一轮迭代子模型CART回归树训练集样本的y值。
https://blog.csdn.net/qq_24519677/article/details/82020863#commentBox ------------- GBDT基本原理及算法描述
https://www.cnblogs.com/Libo-Master/p/7563221.html ------------ GBDT(梯度提升树) 原理小结
问题一:GBDT 梯度与每一轮迭代残差的关系?
问题二:Adaboost 分类问题 损失函数与计算每轮误差的方式?Adaboost 回归问题 损失函数与计算每轮误差的方式?
问题三:GBDT 分类问题的损失函数? GBDT 回归问题的损失函数?
问题四:GBDT算法的优缺点?
总结:
1、总体来说Adaboost不断更新两个权重,GBDT不断更新y值。
2、GBDT回归分类思想是一样的,只是将回归问题损失函数由 均值平方和损失函数 替换为 指数损失函数与对数似然损失函
数。
二、GBDT API
- 参数:
- 属性与方法