机器学习算法之AdaBoost算法python实现

前言：纸上得来终觉浅，绝知此事要躬行

一. 理论基础

结合后面代码看理论基础，将会更加清楚。

1. 算法描述

AdaBoost算法是boosting方法的代表性算法。给定一个训练集，adaboost求一系列比较粗糙的分类器（弱分类器），每学完一个弱分类器，改变训练数据的概率分布（权值分布），使正确分类的数据权值减小，错误分类的数据权值增大，最后组合这些弱分类器，构成一个强分类器。

2. 算法步骤

1. 初始化权值分布

$$D_1 = (w_{11},w_{12},\ldots, w_{1N}), \ \ \ \ \ w_{1i}=\frac{1}{N}$$

1. 迭代训练弱分类器，对每个分类训练步骤：
   a. 使用具有权值分布$D_m$的训练数据集学习，得到基本分类器

   $$G_m(x):\chi \rightarrow{-1, 1}$$

   b. 计算$G_m(x)$在训练数据集上的分类误差率

   $$e_m = \sum_{i=1}^{N}{w_{mi}I(y_i \ne G_m(x_i))}$$

   c. 计算分类器$G_m(x)$权值

   $$\alpha_m = \frac{1}{2}\ln\frac{1-e_m}{e_m}$$

   d. 更新训练数据的权值，为下一步迭代做准备

   $$w_{m+1,i} = \frac{w_{mi}}{Z_m} e^{-\alpha_m y_i G_m(x_i)}$$

   其中，
   

   $$Z_m = \sum_{i=1}^{N}{e^{-\alpha_m y_i G_m(x_i)}}$$

2. 当错误率（这里的错误率是指前m个弱分类器的线性组合后的分类器的错误率）达到阈值或者迭代次数（弱分类器个数）达到指定次数后，将所有的弱分类器线性组合起来

$$G(x) = sign(f(x)) = sign(\sum_{m=1}^{M}{\alpha_m G_m(x) })$$

3. 训练误差分析

最终分类器的误差率满足：

$$\frac{1}{N}\sum_{i=1}^{N}I(G(x) \ne y_i) \le \frac{1}{N}\sum_{i=1}^{N}e^{-y_i f(x_i)} = \prod_{i=1}^{m}Z_m$$

这个定理说明，每一轮选取适当的$G_m$使得$Z_m$最小，从而使训练误差下降最快。

上述定理证明如下：

当$G(x) \ne y_i$时， $y_i f(x_i) < 0$：

e−yif(x