Adaboost算法

AdaBoost是一种“集成方法”，通过将同一个弱分类器串行训练后，得到一个强分类器，进而实现较高精度的分辨能力。

算法流程：

假定给定一个二元分类的训练数据集
$T=\{ (x_1,y_1),(x_2,y_2),...(x_N,y_N)\} \ $
其中，$y\in\{-1,1\}$

1. 初始化训练数据的权值分布
   

   $$D_1=(w_{11},,w_{12},...,w_{1N}),w_{1i}=\frac{1}{N},i=1,2,...,N \ $$

2. 对m=1,2,…,M
   （a）使用具有权值分布$D_m \ $ 的训练数据集学习，得到基本分类器
   

   $$G_m(x):\chi\to\{-1,1\}$$
   （b）计算$G_m(x)$ 在训练集中的分类误差率
   $$e_m=P(G_m(x_i)\neq y_i)=\sum_{i=1}^Nw_{mi}\ $$
   （c）计算$G_m(x)$的系数
   $$\alpha_m=\frac{1}{2}log\frac{1-e_m}{e_m}$$
   这里的对数是自然对数
   （d）更新数据集的权值分布
   $$D_{m+1}=(w_{m+1,1},,w_{{m+1},2},...,w_{{m+1},N})\ $$
   $$w_{{m+1},1}=\frac{w_{mi}}{Z_m}exp(-\alpha_my_iG_m(x_i)),i=1,2,...,N$$
   其中，$Z_m$ 是规范化因子
   $$Z_m=\sum_{i=1}^Nw_{mi}exp(-\alpha_my_iG_m(x_i))$$

3. 构建基本分类器的线性组合，也即是最终的强分类器
   $$f(x)=\sum_{m=1}^{M}\alpha_mG_m(x)$$
   $$G(x)=sign(f(x)) \ $$

补充说明：

AdaBoost解决了两个问题：

一.如何在每一轮中改变训练的数据的权值分布
二.如何将弱分类器组合成一个强分类器，使得精度升高

对于一，是在每次的训练中，提高那些前一轮训练中被分类错误的样本的权值，降低前一轮训练中被分类正确的样本的权值，具体做法在算法里面的 2.（d）里面

对于二，解决方法是加大分类误差小的弱分类器的权值，减小分类误差大的弱分类器的权值，具体做法是在$\alpha_m$里调控，当$e_m<=0.5,\alpha_m>=0$，并且$\alpha_m$随着$e_m$的减小而增大，所以误差率越小的弱分类器在最终的分类器中的作用会越来越大。