AdaBoost介绍

2AdaBoost

AdaBoost 是一种监督学习的方法，同时 AdaBoost 也是一种元算法（元算法是对其

他算法组合的一种方式），Boosting 算法是一种把若干个分类器整合为一个分类器的方

法。Boosting 分类的结果是基于所有分类器的加权求和结果的，boosting 中的分类器的

权重并不相等，每个权重代表的是其对应分类器在上一轮迭代中的成功度。

 

AdaBoost 主要解决的问题有：两类问题，多类单标签问题，多类多标签问题，回

归问题

AdaBoost 是 adaptive boosting（自适应 boosting）运行过程如下：（基于错误提升分

类器的性能）训练数据中的每个样本，并赋予其一个权重，这些权重构成了向量 D。一开始，这些权重都初始化成相等值。

首先在训练数据上训练出一个弱分类器并计算该分类器的错误率，然后在同一数据集上再次训练弱分类器。在分类器的第二次训练当中，将会重新调整每个样本的权重，其中第一次分对的样本的权重将会降低，而第一次分错的样本的权重将会提高。

 

2.4 AdaBoost  算法特性

1. 训练的错误率上界，随着迭代次数的增加，会逐渐下降；

2. AdaBoost 算法即使训练次数很多，也不会出现过拟合的问题。

2.5 AdaBoost  算法分析

AdaBoost 的 特点可以总结如下：

1. 每次迭代改变的是样本的分布，而不是重复采样；

2. 样本分布的改变取决于样本是否被正确分类；

3. 最终的结果是弱分类器的加权组合。

AdaBoost 的 优点可以总结如下：

1. AdaBoost 是一种高精度的分类器；

2. 可以使用各种方法构建子分类器，AdaBoost 算法提供的是框架；

3. 当使用简单分类器时，计算出的结果是可以理解的，而且若分类器构造非常简单；

4. 不用担心过拟合问题