利用AdaBoost元算法的分类器（代码笔记）

AdaBoost是一种集成方法。属于监督学习。

将不用的分类器组合起来，这种方法称为集成方法（ensemble method）或元算法（meta-algorithm）

------------------------------------------------------------------------------------------------------------------------

bagging：原名自举汇聚法（bootstrap aggregating）。从原数据集(大小为N)中有放回地抽取S个新数据集(大小也为N)，这意味着某个新数据集中可以有重复的或没有原数据某值。将S个数据集用于某学习算法得到S个分类器(这些分类器的类型一致)，再用S个分类器投票分类新数据。每个分类器权重相等，我们称其为并行训练。比如，随机森林就是种先进的bagging方法。

boosting：与bagging类似的集成分类器。但这里不同的分类器是串行训练获得的，因为新分类器会参考已训练分类器的性能(新分类器会集中关注已有分类器分错的数据)，而且这些分类器的权重并不相等。（看下面的权重D，每得到一个stump后，算法会增加分错数据的权重，降低分对数据的权重）

-----------------------------------------------------------------------------------------------------------------------