机器学习之adaboost

AdaBoost的起源和基本概念

adaptive boosting

• 在概率近似正确（ probably approximately correct, PAC) 学习的框架中，一个概念（类），如果存在一个多项式的学习算法能够学习它，并且正确率很高，称这个概念是强可学习的；

• 一个概念（类），如果存在一个多项式的学习算法能够学习它，学习的正确率仅比随机猜测略好，则称这个概念是弱可学习的。

• 在 PAC 学习的框架下，一个概念是强可学习的充分必要条件是这个概念是弱可学习。

•只要找到一个比随机猜测略好的弱学习算法就可以直接将其提升为强学习算法，而不必直接去找很难获得的强学习算法。

AdaBoost算法

前向分步训练算法