gbdt全称为grandient boosting decision tree。与adaboostingadaboosting是通过对模型权重和样本权重的调整实现对误差的拟合不同的是,gbdt核心是希望损失函数能不断的减小,和尽可能快的减小。具体的做法就是让损失函数沿着梯度的方向下降。
为了实现残差即损失函数的不断缩小用损失函数的负梯度作为残差的近似值:
xgboost可以看做对GBDT的改进:1、加入正则化项(控制基模型的复杂度),2、泰勒展开中用到了二阶梯度(能更快的下降)。
正则化项如下:
gbdt & xgboost
最新推荐文章于 2024-07-24 16:19:34 发布