本文介绍了梯度提升决策树（GBDT）的核心原理，强调了使用负梯度近似残差的优势，并讨论了不同损失函数对异常值的敏感性。通过Python工具包实现了GBDT，并提供了数据集链接。
学习笔记参考：https://www.ccs.neu.edu/home/vip/teach/MLcourse/4_boosting/slides/gradient_boosting.pdf
全英文PPT，但是这是我挣扎几天后看过最通俗易懂的讲解了，打不开可以私聊我。
知识点：
- Gradient Boosting Decision Tree：梯度提升决策树
- 无论是回归还是分类，都是采用CART树
- 策略：会用第K个CART树拟合前K-1个CART树留下的残差，从而不断缩小整个模型的误差
- 但在在更一般的情况下，使用负梯度 better than 残差
- 所以GBDT每轮的训练是在上一轮训练模型的负梯度值基础上训练的，即用负梯度近似模拟残差，这是GBDT的核心
- 当Loss function 采用均方误差时，
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
