基本思路
强可学习:在概率近似正确的学习框架中,一个概念,如果存在一个多项式学习的算法能够学习它,并且正确率很高,那么这个概念就是强可学习的。
弱可学习:一个概念,如果存在一个多项式的学习算法能够学习它,学习的正确率仅比随机猜测好,那么就称这个概念是弱可学习的。Schapire后来证明强可学习和弱可学习是等价的,也就是做,在概率近似正确的学习框架中,一个概念是强可学习的充分必要条件是这个概念是弱可学习的。
因此,学习过程中,将弱可学习方法提升为强可学习是值得研究的。由于弱可学习算法通常比发现强可学习容易的多。那么如何具体实施提升,便成为开发提升方法时所需要解决的问题。具有代表性的方法AdaBoost算法。
对于分类问题,提升方法就是从弱学习算法出发,反复学习,得到一系列弱分类器,然后组合这些弱分类器,构成一个强分类器。大多数的提升方法都是通过改变训练数据的概率分布,针对不同的训练数据分布调用弱学习算法学习一系列弱分类器。
这样,对提升方法有两个问题需要回答:
1、在每一轮学习中,如何改变训练数据的权值或概率分布?
2、如何将弱分类器组合成一个强分类器?
针对第一个问题,AdaBoost提高前一轮被错分的训练样本的权值,降低正确分类样本的权值,使得下一轮的弱分类器更加关注错分的数据。
针对第二个问题,AdaBoost采用加权求和的方法,分类误差较大的分类器,具有较小的权重,在最终分类的时候有较小的作用。
AdaBoost算法
内容来源《统计学习方法 李航》