集成学习之Adaboost算法基本原理

1. 什么是Adaboost？

AdaBoost算法是基于Boosting思想的机器学习算法，其中AdaBoost是Adaptive Boosting的缩写，AdaBoost是一种迭代型的算法，其核心思想是针对同一个训练集训练不同的学习算法，即弱学习算法，然后将这些弱学习算法集合起来，构造一个更强的最终学习算法。AdaBoost算法示意图1：

假设有$n$个样本，为了构造出一个强的学习算法，首先需要选定一个弱学习算法，并利用同一个训练集不断训练弱学习算法，以提升弱学习算法的性能。在AdaBoost算法中，有两个权重，第一个数训练集中每个样本有一个权重，称为样本权重，用向量$D$表示，初始的权重为${{D}_{1}}=({{w}_{11}},{{w}_{12}},...,{{w}_{1n}})$；另一个是每一个弱学习算法具有一个权重，用向量$\alpha$表示。假设有$n$个样本的训练集，初始时，设定每个样本的权重是相等的，即$\frac{1}{n}$，利用第一个弱学习算法${{h}_{1}}$对其进行学习，学习完成后进行错误率$\varepsilon$的统计2：

$$\varepsilon =\frac{{{N}_{error}}}{{{N}_{all}}}$$
其中， ${N}_{error}$表示被错误分类的样本的数目， ${N}_{all}$表示所有样本的数目。因此，弱学习算法 ${{h}_{1}}$的权重 ${\alpha}_{1}$可以通过 $\varepsilon$求得：
$${{\alpha }_{1}}=\frac{1}{2}\ln \left( \frac{1-\varepsilon }{\varepsilon } \right)$$

在第一次学习完成后，需要重新调整样本的权重，以使得在第一分类中被错分的样本的权重，使得在接下来的学习中可以重点对其进行学习，所以需要更新训练的权值分布：

$${{D}_{m+1}}=({{w}_{m+1,1}},{{w}_{m+1,2}},...,{{w}_{m+1,n}})$$

$${{w}_{m+1,i}}=\frac{{{w}_{mi}}}{{{Z}_{m}}}\exp \left( -{{\alpha }_{m}}{{y}_{i}}{{G}_{m}}\left( {{x}_{i}} \right) \right),i=1,2,...,n$$

其中，${\alpha }_{m}$表示第$m$训练器的权重值，${{G}_{m}}$代表第$m$个分类器，$Z_t$是一个归一化因子：

$${{Z}_{m}}=\sum\limits_{i=1}^{n}{{{w}_{mi}}\exp \left( -{{\alpha }_{m}}{{y}_{i}}{{G}_{m}}\left( {{x}_{i}} \right) \right)}$$

之后，使用更新后的权重值进行下一轮学习，直到$M$轮结束，得到$M$个弱学习方法$\{{G_{1},G_{2},...,G_{M}}\}$及其权重

$$\{\alpha_{1},...,\alpha_{M}\}$$ 。对新的分类数据，分别计算 $M$个弱分类器的输出$\{{G_{1}(X),G_{2}(X),...,G_{M}(X)}\}$，最终的AdaBoost算法的输出结果为：

$$G\left( X \right)\text{=sign(}f(X)\text{)=sign}\left( \sum\limits_{m=1}^{M}{{{\alpha }_{m}}{{G}_{m}}(X)} \right)$$

---

2. Adaboost算法

Adaboost基本的算法流程为3：

AdaBoost算法是一种具有很高精度的分类器，其实AdaBoost算法提供的是一种框架，在这种框架下，我们可以使用不同的弱分类器，通过AdaBoost框架构建出强分类器。

---

1. Machine Learning in Action. Peter Harrington ↩
2. http://blog.csdn.net/google19890102/article/details/46376603 ↩
3. A short introduction to boosting ↩