boosting、Adaboost、CascadeAdaboost算法

2.算法发展简介

2.1 强学习算法和弱学习算法

在机器学习领域，Boosting算法是一种通用的学习算法，这一算法可以提升任意给定的学习算法的性能。其思想源于1984年Valiant提出的”可能近似正确”-PAC(Probably Approximately Correct)学习模型，在PAC模型中定义了两个概念-强学习算法和弱学习算法。其概念是: 如果一个学习算法通过学习一组样本，识别率很高，则称其为强学习算法;如果识别率仅比随机猜测略高，其猜测准确率大于50，则称其为弱学习算法。

2.2boost模型发展

1989年Kearns and Valiant研究了PAC学习模型中弱学习算法和强学习算法两者间的等价问题；

即任意给定仅仅比随机猜测稍好(准确率大于0.5)的弱学习算法，是否可以被提升为强学习算法？若两者等价，则我们只需寻找一个比随机猜测稍好的若学习算法，然后将其提升为强学习算法，从而不必费很大力气去直接寻找强学习算法。

就此问题，Schapire于1990年首次给出了肯定的答案。他主持这样一个观点：

任一弱学习算法可以通过加强提升到一个任意正确率的强学习算法，并通过构造一种多项式级的算法来实现这一加强过程，这就是最初的Boosting算法的原型。

Boosting是一种将弱分类器通过某种方式结合起来得到一个分类性能大大提高的强分类器的分类方法。该方法可以把一些粗略的经验规则转变为高度准确的预测法则。强分类器对数据进行分类，是通过弱分类器的多数投票机制进行的。该算法是一个简单的弱分类算法提升过程，这个过程通过不断的训练，以提高对数据的分类能力。

Freund于1991年提出了另外一种效率更高的Boosting算法。但此算法需要要提前知道弱学习算法正确率的下限，因而应用范围十分有限。

2.3adaboost出现

1995年，Freund and Schapire改进了Boosting算法，取名为Adaboost算法，该算法不需要提前知道所有关于弱学习算法的先验知识，同时运算效率与Freund在1991年提出的Boosting算法几乎相同。Adaboost即Adaptive Boosting，它能

1）：自适应的调整弱学习算法的错误率，经过若干次迭代后错误率能达到预期的效果。

2）：它不需要精确知道样本空间分布，在每次弱学习后调整样本空间分布，更新所有训练样本的权重，把样本空间中被正确分类的样本权重降低，被错误分类的样本权重将会提高，这样下次弱学习时就更能更关注这些被错误分类的样本。该算法可以很容易地应用到实际问题中，因此，已成为目前最流行的Boosting算法。

AdaBoost算法的核心思想是针对同一个训练集训练出不同的分类器（弱分类器），然后把这些弱分类器集合起来，构成一个性能更加强大的分类器（强分类器）。

2.4 Boosting与AdaBoost算法的训练

Boosting分类方法，其过程如下所示：

1）先通过对N个训练数据的学习得到第一个弱分类器h1；

2）将h1分错的数据和其他的新数据一起构成一个新的有N个训练数据的样本，通过对这个样本的学习得到第二个弱分类器h2；

3）将h1和h2都分错了的数据加上其他的新数据构成另一个新的有N个训练数据的样本，通过对这个样本的学习得到第三个弱分类器h3；

4）最终经过提升的强分类器h_final=Majority Vote(h1,h2,h3)。即某个数据被分为哪一类要通过h1,h2,h3的多数表决。

上述Boosting算法，存在两个问题：

①如何调整训练集，使得在训练集上训练弱分类器得以进行。

②如何将训练得到的各个弱分类器联合起来形成强分类器。

 

针对以上两个问题，AdaBoost算法进行了调整：

①使用加权后选取的训练数据代替随机选取的训练数据，这样将训练的焦点集中在比较难分的训练数据上。

②将弱分类器联合起来时，使用加权的投票机制代替平均投票机制。让分类效果好的弱分类器具有较大的权重，而分类效果差的分类器具有较小的权重。

以上部分转自： http://blog.csdn.net/whiteinblue/article/details/14518773

Adaboost算法（其实是adaboost中的一种）：

在最后显然 a 表示的就是弱分类器的权值；当某个弱分类器认为是真样本时使 h = 1；

假设 a 被归一化了，那么右边必然等于0.5，左边的 h 等于 0 或 1 ，意思岂不是判对的弱判决器的比重占到一半以上的话，就是正的话，你们强判决器就判为正；

误检率 F；检测率 D ；

减小误检率的同时，也减小的检测率；

Cascade Adaboost算法：

• User selects values for f , the maximum acceptable false
positive rate per layer and d, the minimum acceptable detection
rate per layer.
• User selects target overall false positive rate, Ftarget.
• P = set of positive examples
• N = set of negative examples
• F0 = 1.0; D0 = 1.0
• i = 0
• while Fi > Ftarget （某层误检率小于Ftarget，则停止）
– i ← i + 1
– ni = 0; Fi = Fi−1
– while Fi > f × Fi−1  （这层的错检率要小于上次的*f）
∗ ni ← ni + 1
∗ Use P and N to train a classifier with ni features using AdaBoost
∗ Evaluate current cascaded classifier on validation set to
determine Fi and Di .
∗ Decrease threshold for the ith classifier until the current cascaded classifier has a detection rate of at least d × Di−1 (this also affects Fi )（这层的检测率至少达到上次的检测率*d）
– N ← ∅
– If Fi > Ftarget then evaluate the current cascaded detector on the set of non-face images and put any false detections into the set N