Adaboost 算法介绍(附常见面试题) - 知乎 (zhihu.com)
Bagging:RF,随机取样,训练多个决策树,最后投票。
Boosting:
1.提升树:下一个树拟合前一个树的残差,最终结果等于所有树的输出相加。
2. GBDT:
GBDT算法原理以及实例理解_Freeman_zxp的博客-CSDN博客
GBDT推导-拟合负梯度和残差_损失函数的负梯度_Diamond-Mine的博客-CSDN博客
当优化的损失函数为均方误差损失函数时,负梯度实际上就是残差。
GBDT推导-拟合负梯度和残差_损失函数的负梯度_Diamond-Mine的博客-CSDN博客
当优化的损失函数为均方误差损失函数时,负梯度实际上就是残差。