机器学习之Adaboost

主要内容：
1.何为提升学习方法adaboost
2.adaboost算法步骤
3. 代码实现
4. sklearn使用

一、何为提升学习方法

历史上，Kearns和Valiant首先提出了“强可学习（strongly learnable）”和“弱可学习（weakly learnable）”的概念。指出：在概率近似正确（probably approximately correct，PAC）学习框架中，一个概念（一个分类），如果存在一个多项式的学习算法能够学习它，并且正确率很高，那么就称这个概念是强可学习的；一个概念，如果存在一个多项式的学习算法能够学习它，学习的正确率仅比随机猜测略好，那么就称这个概念是弱可学习的。非常有趣的是Schapire后来证明强可学习与弱可学习是等价的，也就是说，在PAC学习的框架下，一个概念是强可学习的充分必要条件是这个概念是弱可学习的。
这样一来，问题便成为，在学习中，如果已经发现了“弱学习算法”，那么能否将它提升（boost）为“强学习算法”。大家知道，发现弱学习算法通常要比发现强学习算法容易得多。那么如何具体实施提升，便成为开发提升方法时所要解决的问题。关于提升方法的研究很多，有很多算法被提出。最具代表性的是AdaBoost算法（AdaBoost algorithm）。
对于分类问题而言，给定一个训练样本集，求比较粗糙的分类规则（弱分类器）要比求精确的分类规则（强分类器）容易得多。提升方法就是从弱学习算法出发，反复学习，得到一系列弱分类器，然后组合这些分类器，构成一个强分类器。

那么问题来了：
1. 在每一轮如何改变训练数据的权值分布？
2. 如何将弱分类器组合成为一个强分类器？
答案是：
1. 提高那些被前一轮弱分类器错误分类样本的权值，而降低那些被正确分类样本的权值
2. 采用加权多数表决的方法
然而，后者好理解，前者呢，为什么要提高错分类样本的权值？对下一次分类器的训练会造成什么影响？

二、Adaboost算法步骤
(1) 初始化训练数据的权值系数

$$D_1=(w_{11},...,w_{1i},...,w_{1N}),w_{1i}=\frac {1}{N},i=1,2,...,N\tag{1}$$
(2)对 $m=1,2,...,M$，这是一个迭代的过程

• 使用具有权值系数$D_{m}$的训练数据集创建弱分类器$G_{m}(x)$

• 计算 Gm(x