统计学习方法之Adaboost提升方法

AdaBoost算法

AdaBoost算法通过提高那些被前一轮弱分类器错误分类样本的权重，而降低那些被正确分类样本的权重，使得被错误分类样本受到后一轮的弱分类器的更大关注。

算法流程

输 入 ： 训 练 数 据 集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } ， 其 中 x i ∈ R n ， y i ∈ { − 1 , + 1 } ； ； 弱 学 习 算 法 输入：训练数据集T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}，其中x_i \in R^n，y_i \in \{-1, +1\}；；弱学习算法 输入：训练数据集T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，其中xi​∈Rn，yi​∈{−1,+1}；；弱学习算法

$输出：最终分类器G(x)$

1. 初始化训练数据的权重分布
   $$D_1=(w_{1,1},...,w_{1,i},...,w_{1,N}),w_{1i}=\frac{1}{N},i=1,2,...,N$$
2. 对$m=1,2,...,M$
   • 使用具有权重分布$D_m$的训练数据集学习，得到基本分类器
     D m ( x ) → { − 1 , + 1 } D_m(x) \rightarrow \{-1,+1\} Dm​(x)→{−1,+1}
   • 计算$G_m(x)$在训练集上的分类误差率
     $$e_m=\sum _{i=1}^{N}P(G_m(x_i)\ne y_i)=\sum _{i=1}^N{w}_{mi}I(G_m(x_i)\ne y_i)$$
   • 计算$G_m(x)$的系数
     $${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}$$
   • 更新训练数据集的权重分布
     $$D_{m+1}=(w_{m+1,1},...,w_{m+1,i},....,w_{m+1,N})$$
     $$w_{m+1,i}=\frac{w_{m,i}}{Z_m}exp(-{\alpha }_m{y}_i{G}_m(x_i)),i=1,2....,N$$
     其中，$Z_m$是规范化因子，使$D_{m+1}$成为一个概率分布
     $$Z_m=\sum _{i=1}^N{w}_{m,i}exp(-{\alpha }_m{y}_i{G}_m(x_i))$$
3. 构建基本分类器的线性组合
   $$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$
4. 得到最终分类器
   $$G(x)=sign(f(x))=sign(\sum _{m=1}^M{\alpha }_m{G}_m(x))$$