Adaboost算法原理（二分类及多分类）

Adaboost算法是一种集成学习(ensemble learning)方法。在集成学习中，强学习器指的是由多个机器学习模型组合形成的精度更高的模型。而参与组合的模型就被称为是弱学习器。进行预测时使用的是这些弱学习器的联合模型。训练时需要用训练样本依次训练这些弱学习器。
典型的集成学习算法是随机森林和boosting算法，Adaboost算法是boosting算法的一种实现版本。
Adaboost算法的实现流程可以简单概述为：

1. 使用多次循环迭代来进行训练
   每次循环过程中，更新样本权重，寻找当前分布下的最优弱分类器，并计算弱分类器误差率，根据误差率，更新样本权重。初始时所有样本的权重相等，训练过程中，如果样本被弱分类器错误分类，那么它的权重会增大（之后的训练中会被弱分类器更加关注），反之会减小。对于弱分类器自身来说，准确率越高权重越大。

2. 聚合多次训练的弱分类器，来组合成强分类器。

3. 输出最终预测结果。
   权重大的弱分类器在预测时的“话语权”就越大。

接下来进行详细介绍。

算法梳理

给定m个训练样本$(x_1,y_1),(x_2,y_2),\cdots ,(x_m,y_m)$，其中$x_i$为特征向量，$y_i$为类别标签。 x i ∈ X , y i ∈ Y = { − 1 , + 1 } x_i \in X, y_i \in Y = \{ -1, +1 \} xi​∈X,yi​∈Y={ −1,+1}。

1. 训练算法

1）初始化样本权重$w^0$，令所有样本的初始权重相等$w^0=\frac{1}{m}$。
2）接着循环N次，训练弱分类器，计算误差率$e_t$。也可以计算准确率$p_t$，其中$e_t+p_t=1$。
3）弱分类器的权重
$${\alpha }_t=\genfrac{}{}{0ex}{}{}{2}$$