GBDT,XGboost
GBDT 又叫梯度提升树,是通过采用加法模型(基函数的线性组合),以及不断减小训练过程的残差来进行预测(分类回归)的算法.
三个主要概念:
GBDT的核心就在于,每一棵树学的是之前所有树结论和的残差,这个残差就是一个加预测值后能得真实值的累加量
1. GB就是梯度迭代,在每一轮迭代中,首先计算出当前模型在所有样本上的负梯度(残差),然后以该值为目标训练一个新的弱分类器进行拟合,
并计算出该弱分类器的权重,最终实现对模型的更新.
2. DT:决策树,GBDT里使用的基分类器是决策树,而且用的都是CAR
原创
2020-08-24 20:10:10 ·
103 阅读 ·
0 评论