AdaBoost 算法 入门

AdaBoost 是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器，即弱分类器，然后把这些弱分类器集合起来，构造一个更强的最终分类器。算法的适应性在于前一个基本分类器分错的样本会得到加强，加权后的全体样本再次用来训练下一个基本分类器。同时，在每一轮中加入一个新的弱分类器，直至达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。

具体来说，整个 AdaBoost 迭代算法包含 3 个主要步骤：
（1）初始化训练数据的权值分布。如果有 M 个样本，则每一个训练样本最开始时都被赋予相同的权值：1/M。

（2）训练弱分类器。在训练过程中，如果某个样本点已经被准确地分类，那么在构造下一个训练集中它的权值就被降低；相反，如果某个样本点没有被准确地分类，那么它的权值就得到提高。在 t 轮训练结束后，根据得到的弱分类器 h_t 的性能，计算该分类器对应的权值 α_t ，并由 h_t 在训练集上的分类结果对权重向量 W_i→ W_(i+1) 进行更新。接着，权值更新过的样本集用于训练下一个分类器，整个训练过程如此迭代地进行下去。

（3）将各个训练得到的弱分类器组合成强分类器。各个弱分类器的训练过程结束后，加大分类误差率小的弱分类器的权重，使其在最终的分类函数中起较大的决定作用，降低分类误差率大的弱分类器的权重，使其在最终的分类函数中起较小的决定作用。换言之，误差率低的弱分类器在最终分类器中占的权重较大，否则较小。

AdaBoost 算法的特点：

AdaBoost 是一种具有很高精度的分类器，其算法具有如下特点：

（1） 可以使用各种方法构建子分类器，AdaBoost 算法提供对其进行组合以及提升的框架。
（2） 当使用简单分类器时，计算出的结果是可以理解的。
（3） 弱分类器构造极其简单，无须做特征筛选。
（4） AdaBoost 算法简单，不用调整分类器，不会导致过拟合。

AdaBoost 算法的应用：

（1） 用于二值分类或多分类的应用场景。
（2） 用于特征选择（Feature Selection）。
（3） 无须变动原有分类器，而是通过组合出新的分类器，提升分类器的性能。

（1）D1 表示样本的初始权重分配，数据点包含两类数据，两种颜色。在 AdaBoost算法运行过程中，我们使用水平或者垂直的直线作为分类器来进行分类。算法最开始给了一个均匀分布D。因此，h_1 里的每个点的权重是0.1。

（2）利用第一个分类器进行划分，有三个数据点划分错了，根据误差公式，计算得到带权的误差为：ɛ_1 = （0.1+0.1+0.1）= 0.3。第一个分类器的权重a_1 为0.42。根据算法要求，把分错的数据点的权值变大，得到新的权重分布。

至此，根据分类的正确率得到一个新的样本权重分布 D_2 ，一个子分类器h_1。

（3）进行第2次迭代，根据分类的正确率，得到一个新的样本权重分布 D3 以及一个子分类器 h2 。

（4）计算最后一个分类器的错误率和权重，得到最后一个分类器的权重为 h3。

（5）整合所有子分类器，即对其进行加权求和。从结果中看，即使简单的分类器，组合起来也能获得很好的分类效果。