Boosting提升的AdaBoost

Boosting

在分类问题中，通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。

1. AdaBoost算法

1.1 Boosting方法的基本思路

Boosting基于这样一种思想：对于一个复杂任务，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断好。

历史上首先提出了“strongly learnable”和"weakly learnable"的概念。指出：在概率近似正确学习的框架中，一个概念，如果存在一个多项式的学习算法能够学习它，并且正确率很高，那么称这个概念是strongly learnable。同理，如果学习的正确率仅比随机猜测略好，那么称这个概念是weakly learnable。后来又证明出这两个概念是等价的。也就是说，这两个概念互为充要条件。问题便成了能否将weakly learnable提升为strongly learnable。

大多数的提升方法都是改变训练数据的概率分布，针对不同的训练数据分布调用弱学习算法学习一系列弱分类器。这样，有两个问题需要回答：一是每一轮如何改变训练数据的权值或概率分布；二是如何将弱分类器组合成一个强分类器。关于第一个问题，AdaBoost的做法是提高那些前一轮弱分类器错误分类样本的权值，而降低那些被正确分类样本的权值。第二个问题，AdaBoost采取加权多数表决的方法。具体地，加大分类误差率小的弱分类器的权值，使其在表决中起较大的作用，减少分类误差率大的弱分类器的权值，使其在表决中起较小作用。

1.2 AdaBoost算法

假设给定一个二分类的训练数据集，每个样本点由实例与标记组成。AdaBoost利用以下算法，从训练数据中学习一系列弱分类器，并线性组合成为一个强分类器。

AdaBoost

Input: 训练数据集；弱学习算法；

Output: 最终分类器G(x).

(1) 初始化训练数据的权值分布

(2)对m = 1，2，···，M

(a)使用具有权值分布D的训练数据集学习，得到基本分类器：Gt(x):X→{−1,1}

(b)计算G(x)在训练数据集上的分类误差率

(c)计算G(x)的系数

(d)更新训练数据集的权值分布

(8.4)

Zm是规范化因子，使D成为一个概率分布。

(3)构建基本分类器的线性组合

得到最终分类器

对AdaBoost算法作如下说明：

步骤（1） 假设训练数据集具有均匀的权值分布，即每个训练样本在基本分类器的学习中作用相同，这一假设保证第一步能够在原始数据上学习基本分类器.

步骤（2） AdaBoost反复学习基本分类器，在每一轮m = 1, 2, ..., M顺次地执行下列操作：

(a) 使用当前分布加权的训练数据集，学习基本分类器.

(b) 计算基本分类器在加权训练数据集上的分类误差率：

这里，表示第m轮中第i个实例的权值，.这表明，在加权的训练数据集上的分类误差率是被误分类样本的权值之和，由此可以看出数据权值分布与基本分类器的分类误差率的关系。

(c) 计算基本分类器的系数. 表示在最终分类器中的重要性。由系数计算公式可知，当时，，并且随着的减小而增大，所以分类误差率越小的基本分类器在最终分类器中的作用越大。

(d) 更新训练数据的权值分布为下一轮做准备。式(8.4)可以写成：

由此可知，被基本分类器误分类样本的权值得以扩大，而被正确分类样本的权值却得以缩小。两相比较，误分类样本的权值被放大倍。因此，误分类样本在下一轮学习中起更大的作用。不改变所给的训练数据，而不断改变训练数据权值的分布，使得训练数据在基本分类器的学习中起不同的作用，这是AdaBoost的一个特点。

步骤(3) 线性组合实现个基本分类器的加权表决。系数表示了基本分类器的重要性，这里，所有之和并不为1。的符号决定实例x的类，的绝对值表示分类的确信度。利用基本分类器的线性组合构建最终分类器是AdaBoost的另一特点。