提升方法AdaBoost学习笔记

基本思路

强可学习：在概率近似正确的学习框架中，一个概念，如果存在一个多项式学习的算法能够学习它，并且正确率很高，那么这个概念就是强可学习的。

弱可学习：一个概念，如果存在一个多项式的学习算法能够学习它，学习的正确率仅比随机猜测好，那么就称这个概念是弱可学习的。Schapire后来证明强可学习和弱可学习是等价的，也就是做，在概率近似正确的学习框架中，一个概念是强可学习的充分必要条件是这个概念是弱可学习的。

因此，学习过程中，将弱可学习方法提升为强可学习是值得研究的。由于弱可学习算法通常比发现强可学习容易的多。那么如何具体实施提升，便成为开发提升方法时所需要解决的问题。具有代表性的方法AdaBoost算法。

对于分类问题，提升方法就是从弱学习算法出发，反复学习，得到一系列弱分类器，然后组合这些弱分类器，构成一个强分类器。大多数的提升方法都是通过改变训练数据的概率分布，针对不同的训练数据分布调用弱学习算法学习一系列弱分类器。

这样，对提升方法有两个问题需要回答：

1、在每一轮学习中，如何改变训练数据的权值或概率分布？

2、如何将弱分类器组合成一个强分类器？

针对第一个问题，AdaBoost提高前一轮被错分的训练样本的权值，降低正确分类样本的权值，使得下一轮的弱分类器更加关注错分的数据。

针对第二个问题，AdaBoost采用加权求和的方法，分类误差较大的分类器，具有较小的权重，在最终分类的时候有较小的作用。

 

AdaBoost算法

内容来源《统计学习方法 李航》