Boosting算法
Boosting的基本思想很简单,就是"三个臭皮匠顶个诸葛亮"。将若干个弱分类器(base Learner)组合起来,变成一个强分类器。
Adaboost算法及分析
1995年,Freund and schapire 提出了现在的Adaboost算法,其主要框架可以描述为:
(1)循环多次迭代
更新样本分布
寻找当前分布下的最优弱分类器
计算弱分类器误差率
(2)聚合多次训练的弱分类器
现在,随着boost算法的发展,出现了很多其他的boost算法,例如:logitboost算法,gentleboost算法等等。