定义
The strong and weak learnability are equivalent.
--Kearns and Valiant(1989)
强分类器和弱分类器是相同的,多个弱分类器组合可以达到强分类器的效果。通过迭代生成一列分类器,每个分类器都依赖于之前的一个,之前分类器错分的样本被赋予更高的权重。
训练数据集D为 {(x1,y1,w1),( x2,y2,w2),…,( xn,yn,wn)}。xi是输入向量,yi是它的类别并且yi∈Y(类别集合),wi是样例的权重并且∑Iwi=1。
算法构造k个BaseLearner。每个训练样例的权重均被初始化为1/m。每次迭代中,数据集Dt和D相同,仅权重不同。每次迭代构造一个新的分类器ht。
算法
AdaBoost算法的具体步骤如下:
1. 初始化样本权重为1/m,即为训练样本的初始权重分布;
3. 第一次迭代:
(1)训练样本的概率分布相当,训练弱分类器;