机器学习算法合集

Adaboost 算法介绍（附常见面试题） - 知乎 (zhihu.com)

Bagging：RF，随机取样，训练多个决策树，最后投票。

Boosting：

1.提升树：下一个树拟合前一个树的残差，最终结果等于所有树的输出相加。

2. GBDT：

GBDT算法原理以及实例理解_Freeman_zxp的博客-CSDN博客

GBDT推导-拟合负梯度和残差_损失函数的负梯度_Diamond-Mine的博客-CSDN博客

当优化的损失函数为均方误差损失函数时，负梯度实际上就是残差。