AdaBoost

Boosting

Boosting是一族可将弱学习器提升为强学习的算法，机制为：

• 先从初始训练集训练出一个基学习器
• 根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注
• 然后基于调整后的样本分布来训练下一个基学习器
• 以上重复进行，直至基学习器数目达到事先指定的值$T$
• 最终将这$T$个基学习器进行加权结合

AdaBoost

AdaBoost是Boosting族算法最著名的代表，假设训练样本集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中实例$x\in \chi$， y i ∈ { − 1 , + 1 } y_i\in \{-1,+1\} yi​∈{−1,+1}，Adaboost的算法流程如下：

• 步骤一：首先，初始化训练数据的权值分布。每一个训练样本最开始时被赋予相同的权重：$\frac{1}{N}$
  $$D_1=(w_{11},w_{12},\cdots ,w_{1i},\cdots ,w_{1N}),w_{1i}=\frac{1}{N},i=1,2,\cdots ,N$$
• 步骤二：进行多轮迭代，用$m=1,2,\cdots ,M$代表迭代的第多少轮
  a.使用具有权值分布$D_m$的训练集学习，得到基学习器
  G m ( x ) : χ → { − 1 , + 1 } G_m(x):\chi \to \{-1,+1\} Gm​(x):χ→{−1,+1}
  b.计算$G_m(x)$在训练集上的分类错误率
  $$e_m=P(G_m(x_i)\ne y_i)=\sum _{i=1}^N{w}_{mi}I(G_m(x_i)\ne y_i)$$
  即错误率$e_m$就是被$G_m(x)$误分类样本的权值之和
  c.计算$G_m(x)$的系数，${\alpha }_m$表示$G_m(x)$在最终分类器中的重要程度
  $${\alpha }_m=\frac{1}{2}ln\frac{1-e_m}{e_m}$$
  $e_m\le \frac{1}{2}$时，${\alpha }_m\ge 0$，且${\alpha }_m$随着$e_m$的减小而增大，意味着分类误差越小的基分类器的权重越大
  d.更新训练数据集的权值分布，用于下一轮迭代
  $$\begin{gathered} D_{m+1}=(w_{m+1,1},w_{m+1,2},\cdots ,w_{m+1,i},\cdots ,w_{m+1,N}), \\ {w}_{m+1,i}=\frac{w_{mi}}{Z_m}exp(-{\alpha }_m{y}_i{G}_m(x_i)),i=1,2,\cdots ,N \end{gathered}$$
  解释：当基分类器$G_m(x)$误分类时$y_i{G}_m(x_i)$为-1，此时$exp$的参数为${\alpha }_m(>0)$，即权值变大，反之，当正确分类时样本权值减小。通过这种方式，AdaBoost方法能“重点关注”或“聚焦于”那些较难分的样本上。
  其中，$Z_m$是规范化因子，使得$D_{m+1}$成为一个概率分布
  $$Z_m=\sum _{i=1}^N{w}_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))$$
• 步骤三：组合各个弱分类器
  $$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$
  从而得到最终分类器，如下：
  $$G(x)=sign(f(x))=sign\left(\sum _{m=1}^M{\alpha }_m{G}_m(x)\right)$$

实例参考：https://blog.csdn.net/nk_wavelet/article/details/52612464