数据挖掘十大经典算法学习之Adaboost自适应增强学习算法

定义

The strong and weak learnability are equivalent.

--Kearns and Valiant(1989)

强分类器和弱分类器是相同的，多个弱分类器组合可以达到强分类器的效果。通过迭代生成一列分类器，每个分类器都依赖于之前的一个，之前分类器错分的样本被赋予更高的权重。

训练数据集D为 {(x₁,y₁,w₁),( x₂,y₂,w₂),…,( x_n,y_n,w_n)}。x_i是输入向量，y_i是它的类别并且y_i∈Y（类别集合），w_i是样例的权重并且∑_Iw_i=1。

算法构造k个BaseLearner。每个训练样例的权重均被初始化为1/m。每次迭代中，数据集D_t和D相同，仅权重不同。每次迭代构造一个新的分类器h_t。

算法

AdaBoost算法的具体步骤如下：

1. 初始化样本权重为1/m，即为训练样本的初始权重分布；

3. 第一次迭代:

(1)训练样本的概率分布相当，训练弱分类器;