基础算法：提升方法Adaboost

1、Adaboost算法

把训练集通过弱可学习，得到一系列的弱分类器。然后，把弱分类器，通过加权处理，组合成一个强分类器。
在提升方法中，弱可学习和强可学习是等价的。

使用分差误差率更新模型。

这里，$\alpha$代表组合系数，

$${\alpha }_k\leftarrow \frac{1}{2}\ln \frac{1-E_k}{E_k}$$

2、前向分步算法

每一步只学习一个基函数及系数。

3、提升树

以决策树为基函数的前向分步算法。

4、梯度下降

利用损失函数的负梯度作为残差近似值，拟合出回归树。

---

参考：

1. wiki adaboost