本文详细介绍了GBDT（梯度提升决策树）的工作原理，包括其利用梯度下降法更新模型的过程。同时，文章讨论了XGB（XGBoost）作为GBDT的一种实现方式，它通过二阶泰勒展开式优化损失函数，并引入了正则项和分裂节点增益策略。此外，还提到了XGB中的分裂方法、缺失值处理以及树模型的优缺点，如对异常值的鲁棒性和特征选择能力。
GBDT，梯度提升决策树，是一种以决策树为base learner的集成方法，以串行的方式，不断的学习新的base learner，每次都朝目标前进一些，形成一系列base learner，最终由这一系列base learner进行线性组合得到最终的ensemble learner，表示如下：
，其中
表示第t轮迭代的base learner，
表示第t轮迭代的ensemble learner。
设损失函数为L，使用梯度下降法来更新F，有
，其中
为学习率或步长
可以看到第t轮迭代的base learner与（loss对之前的ensemble learner的）梯度成线性关系，所以这也是GBDT中gradient boosting部分的由来。
在GBDT中，base learner是用树模型来表示的，构造一棵决策树去逼近一阶梯度，
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
6841
