备注本文参考李航老师的统计学习方法第8章
提升方法的基本思路:对于复杂任务来说,将多个专家的判断进行综合所得的判断,要比其中任何一个专家的判断好,其实就是三个臭皮匠顶个诸葛亮的道理,提升方法是从弱学习算法出发,反复学习得到一系列的分类器,然后组合这些弱分类器构成一个强分类器。大多数的提升方法都是改变训练数据集的概率分布,针对不同的训练数据分布调用弱学习算法学习一系列的弱学习算法。其基本拓扑图如下
所以Adaboost主要分两步,第一基本分类器怎么形成,第二ai的值怎么确定,接下来就介绍Adaboost的求解过程
1.AdaBoost算法
输入:训练数据集T={(x1,y1),(x2,y2),...,(xn,yn)},其中每个样本点由实例和标记组成,AdaBoost利用一下算法,从训练数据中学习一些列弱分类器或基本分类器,并将这些弱分类器线性组合成一个强分类器。