Bagging的随机森林;Boosting的AdaBoost和GBDT
Gradient Boosting 是一种梯度下降模型,每一轮迭代都会训练一个新的基模型,然后将其加入到模型中,但是每个基模型的权重并不是固定的,而是根据残差的梯度来确定的。在每一轮迭代中,Gradient Boosting 会调整样本的权重,并使用残差来训练新的基模型,这样可以使得模型越来越关注于难以拟合的样本。在GBDT中,每一棵决策树都是在前一棵树的残差基础上进行训练。在每一轮迭代中,Adaboost 会调整样本权重,让分类错误的样本得到更高的权重,这样可以使得后续的基分类器更关注于难以分类的样本。
原创
2024-02-03 15:13:41 ·
947 阅读 ·
0 评论