提升（boosting）方法基本思路

在PAC框架下，一个概念如果存在一个多项式的学习算法能够学习它，并且正确率很高，那么就称这个概念为强可学习的；一个概念如果存在一个多项式的学习算法能够学习它但正确率仅比随机猜测高一点，那么久城这个概念为弱可学习的。强可学习与弱可学习已被证明是等价的。

这样一来，问题便成为，在学习中，如果已经发现了“弱学习算法”，能否将它提升为“强学习算法”。
对于分类问题而言，给定一个训练样本集，求比较粗糙的分类规则（弱分类器）要比求精确的分类规则（强分类器）容易得多，提升方法就是从弱学习算法出发，得到一系列弱分类器（基本分类器），然后组合这些弱分类器，构成一个强分类器。

这样对提升方法来说，有两个问题需要回答：一是在每一轮如何改变训练器的权值或分布；二是如何将弱分类器组合成一个强分类器。第1个问题，AdaBoost的做法是：提高那些被前一轮分类器错误分类样本的权值，而降低那些被正确分类样本的权值。这样一来，那些没有得到正确分类的数据，由于其权值增大而受到后一轮的弱分类器的更大关注。第2个问题，Adaboost的做法是采取加权多数表决的方法，具体地，加大分类误差率小的弱分类器的权值，使其在表决中起较大的作用，减小分类误差率大的弱分类器的权值，使其在表决中起较小的作用。