《统计学习方法》（第八章）——提升方法

提升方法AdaBoost算法

提升方法的基本思路

在概率近似正确(PAC)学习的框架中，如果存在一个多项式的学习算法能够学习它，学习的正确率仅比随机的好，那么就称为弱可学习，而强可学习与弱可学习是等价的，所以可以通过方法来提升弱可学习为强可学习，AdaBoost算法采取加权多数表决的方式来减少误差率

AdaBoost算法

输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={ (x1​,y1​),(x2​,y2​),...,(xN​,yN​)}其中 x i ∈ R n , y i ∈ { − 1 , + 1 } x_i \in R^n, y_i \in \{-1,+1\} xi​∈Rn,yi​∈{ −1,+1}
输出：最终分类器$G(x)$
$(1)$初始化训练数据权值分布
$$D_1=(w_{11},w_{12},...,w_{1N}),w_{1i}=\frac{1}{N},i=1,2,....,N$$
$(2)$对$m=1,2,....,M$

• $(a)$使用权值分布$D_m$的训练数据集学习，得到基本分类器
  G m ( x ) : X → { − 1 , + 1 } G_m(x):X \to \{-1,+1\} Gm​(x):X→{ −1,+1}
• $(b)$计算$G_m(x)$在训练数据集上的分类误差率,选择误差率最小的作为$G_m(x)$
  $$e_m=\sum _{i=1}^{N}P(G_m(x_i)\ne y_i)=\sum _{i=1}^N{w}_{mi}I(G_m(x_i)\ne y_i)$$
• $(c)$计算$G_m(x)$的系数
  $$a_m=\frac{1}{2}\log \frac{1-e_m}{e_m}$$
• $(d)$更新训练数集的权值分布
  $$D_{m+1}=(w_{m+1,1},w_{m+1,2},...,w_{m+1,N})$$
  $$w_{m+1,i}=\frac{w_{mi}}{Z_m}\exp (-a_m{y}_i{G}_m(x_i)),i=1,2,...,N$$
  其中
  $$Z_m=\sum _{i=1}^N{w}_{mi}\exp (-a_m{y}_i{G}_m(x_i))$$
  $(3)$构建基本分类器的线性组合
  $$f(x)=\sum _{m=1}^M{a}_m{G}_m(x)$$
  $$G(x)=sign(f(x))=sign(\sum _{m=1}^M{a}_m{G}_m(x))$$
  如果被误分类，则权值被放大
  $$e^{2a_m}=\frac{1-e_m}{e_m}$$
  倍

AdaBoost算法的训练误差分析

AdaBoost算法最终分类器的训练误差界为
$$\frac{1}{N}\sum _{i=1}^{N}I(G(x$$