Adaboost 算法【python，机器学习，算法】

算法步骤

1. 初始化样本数据，样本数据集大小为N，每个样本的权重设置为1/N。
   相关公式： $D_1=(w_{11},w_{12},w_{13},w_{14},...,w_{1i},...,w_{1N}),w_{1i}=\frac{1}{N},i=1,2,3,4,...,N$
   其中D1表示，第一次迭代每个样本的权值。w11表示，第1次迭代时的第一个样本的权值。

2. 迭代。

   1. 根据前一个分类器分类结果，对样本进行加权处理（分类正确的样本权重减小，分类错误的样本权重增加）。

   2. 按照新的权重，对当前样本进行重新训练，得到一个新的弱分类器。

   3. 计算公式如下：

      $$\begin{gathered} W_{k+1,i}=\frac{W_{k,i}}{Z_k}{e}^{-{\alpha }_k{y}_{k,i}{G}_k(x_i)} \\ {Z}_k=\sum _{i=1}^m{e}^{-{\alpha }_k{y}_{k,i}{G}_k(x_i)} \end{gathered}$$

      推导出如下公式

      $$w_i^{new}=\{\begin{array}{l}\frac{1}{2(1-\epsilon )}{w}_i^{old},样本被正确分类\\ \frac{1}{2(\epsilon )}{w}_i^{old},样本被错误分类\end{array}$$

      其中$\epsilon =\sum _{i=1}^N{w}_{i}I(f_i\ne y_i)$表示当前训练器的错误率,即所有错误分类的样本权重之和除以所有的权重之和。
      I 是指示函数，如果条件成立则为 1，否则为 0。

3. 当迭代到一定的次数，或者得到的分类器的误差很小时，结束迭代循环。

4. 组合弱分类器。公式如下：
   $\overline{F}={\alpha }_1{f}_1+{\alpha }_2{f}_2+{\alpha }_3{f}_3+...+{\alpha }_k{f}_k$
   其中${\alpha }_k=\frac{1}{2}\ln \frac{1-{\epsilon }_k}{{\epsilon }_k}$，$f_k$表示第$k$次迭代训练得到的训练器。

根据损失函数进行优化

1. 整体是一个强学习器，是由一个一个弱学习器迭代而来。公式如下：
   $F_m(x)=F_{m-1}(x)+{\alpha }_{m}G(x)$, 强学习器需要通过$sign(F(x))$函数转换输出。
   其中$F_m(x)$表示第$m$代强学习器，${\alpha }_m$表示当前弱学期器的权重， G ( x ) = { − 1 , 1 } G(x)=\{-1,1\} G(x)={−1,1}表示弱学习器。

2. 怎样求取弱学习器的权重${\alpha }_m$。
   假设有 N 个样本，那么样本的初始权重为$\frac{1}{N}$。
   定义损失函数$L(F_m,y)=\sum _{i=1}^N{e}^{-y_i{F}_m(x_i)}$。
   根据损失函数进行化简推导：

   $$\begin{gathered} Loss=\sum _{i=1}^N{e}^{-y_i{F}_m(x_i)} \\ =\sum _{i=1}^N{e}^{-y_i[F_{m-1}(x_i)+{\alpha }_m{G}_m(x_i)]} \\ =\sum _{i=1}^N{e}^{-y_i{F}_{m-1}(x_i)-y_i{\alpha }_m{G}_m(x_i)} \\ =\sum _{i=1}^N{w}_{mi}\times e^{-y_i{\alpha }_m{G}_m(x_i)} \\ =\sum _{y_i=G(x_i)}^N{w}_{mi}\times e^{-{\alpha }_m}+\sum _{y_i\ne G(x_i)}^N{w}_{mi}\times e^{{\alpha }_m} \\ =\sum _{y_i=G(x_i)}^N{w}_{mi}\times e^{-{\alpha }_m}+\sum _{y_i\ne G(x_i)}^N{w}_{mi}\times e^{{\alpha }_m}+\sum _{y_i\ne G(x_i)}^N{w}_{mi}\times e^{-{\alpha }_m}-\sum _{y_i\ne G(x_i)}^N{w}_{mi}\times e^{-{\alpha }_m} \\ =\sum _{i=1}^N{w}_{mi}\times e^{-{\alpha }_m}+(e^{{\alpha }_m}-e^{-{\alpha }_m})\sum _{y_i\ne G(x_i)}^N{w}_{mi} \end{gathered}$$

   上面的推导用定义了权重$w_{mi}=e^{-y_i{F}_{m-1}(x_i)}$。

   接着对损失函数求导，当损失函数对${\alpha }_m$求偏导，导数为 0 时，取得极小值，这时可以得到${\alpha }_m$的值。

   $${Loss}^{\prime }({\alpha }_m)=-e^{-{\alpha }_m}\sum _{i=1}^N{w}_{mi}+(e^{{\alpha }_m}+e^{-{\alpha }_m})\sum _{y_i\ne G(x_i)}^N{w}_{mi}$$

   令${Loss}^{\prime }({\alpha }_m)=0$得到

   $$\begin{gathered} \frac{e^{-{\alpha }_m}}{e^{{\alpha }_m}+e^{-{\alpha }_m}} \\ =\frac{\sum _{y_i\ne G(x_i)}^N{w}_{mi}}{\sum _{i=1}^N{w}_{mi}} \\ =\frac{\sum _i^N{w}_{mi}I(y_i\ne G(x_i))}{\sum _{i=1}^N{w}_{mi}} \\ =e_m \end{gathered}$$

   求解${\alpha }_m=\frac{1}{2}\ln \frac{1-e_m}{e_m}$,
   其中$e_m=\frac{\sum _i^N{w}_{mi}I(y_i\ne G(x_i))}{\sum _{i=1}^N{w}_{mi}}$表示分类误差率，
   $I(y_i\ne G(x_i))$表示条件函数，条件成立时为 1，不成立时为 0。

3. 怎样在迭代中求取样本的权重$w_i$。
   根据以下公式组

   $$\begin{gathered} F_{m+1}(x_i)=F_m(x_i)+{\alpha }_{m+1}{G}_{m+1}(x_i) \\ {W}_{m+1,i}=e^{-y_i{F}_m(x_i)} \end{gathered}$$

   推导权重的递推公式

   $$\begin{gathered} W_{m+1,i}=e^{-y_i{F}_m(x_i)} \\ {W}_{m+1,i}=e^{-y_i(F_{m-1}(x_i)+{\alpha }_m{G}_m(x_i))} \\ {W}_{m+1,i}=W_{m,i}\ast e^{-y_i{\alpha }_m{G}_m(x_i))} \end{gathered}$$

   其中初始值${\alpha }_0=1$,$w_{[0]i}=\frac{1}{N}$。