boosting算法的分类

https://www.cnblogs.com/liuq/p/9947764.html

另外高维回归，L2boosting的结果和lasso相近，可能说明L2boosting可以解释为某种L1正则化的问题…

Gradient Boosting算法在每一轮迭代中，首先计算出当前模型在所有样本上的负梯度(残差是负梯度的一种特例，拟合残差)，然后以该值为目标训练一个新的弱分类器进行拟合并计算出该弱分类器的权重，最终实现对模型的更新。