模式识别（Pattern Recognition）学习笔记（三十三）-- Boosting方法之AdaBoost

Boosting最早被用在电力电子技术学科中的升压（Boost）变换器中，原本是想通过升压来提高功率，现在将这一提高功率的思想引入到模式识别方法中，它的含义就变成通过融合多个分类器，从而大大提高分类器的性能。

Boosting方法和随机森林的思想很类似，当采用基于简单模型的单个分类器对样本进行分类的效果不理想时，我们希望能够通过构建并整合多个分类器来提高最终的分类性能，我们通常将这种不太理想的单个分类器称为“弱分类器”；但是，Boosting又与RF有点不同，因为Boosting并非对多个分类器的输出进行投票来决策，而是通过一个迭代过程对分类器的输入和输出进行加权处理。不同应用问题中可以采用不同类型的弱分类器，每一次迭代过程中，根据分类的情况对各个样本进行加权，而不仅仅是简单的重采样。

之所以提到AdaBoost，是因为它是最常用的一种Boosting方法，而且非常有用，接下来就来围绕AdaBoost来展开学习。

假设有训练样本：；

使用M个弱分类器，因此其输出为：

决策过程如下：

1）对训练样本的对应权重进行初始化：

2）for循环（m=1;m<=M;m++）

{

       s1：用权重对训练样本进行加权处理（即目标函数中各个样本对应的项进行加权），然后利用加权后的训练样本构造（构造分类器的方法有很多，可以采用不同的方法，如决策树和最小平方误差判别等）弱分类器；

       s2：计算出加权后的分类错误率;

       s3：令：;

       s4：更新权重：，并归一化权重：，；其中Sm为：

}

3)对新来未知样本x，设分类器的最后决策输出为：；

Boosting方法被提出后，就广泛应用于人脸识别与生物识别中，当希望提高分类器的性能时，这种分类器融合的方式就得到了成功应用，此外在很多情况下，迭代次数（即采用的弱分类器数）较多时，不会导致过学习。

但是，尽管如此，还是要明白一个问题，就是模式识别方法中不要期望能够找到一个放之四海而皆准的方法，而应该学习和掌握不同方法的特点和依据，再具体问题中选择最合适的方法，所以没有最佳，只有最适合。