机器学习算法6-AdaBoost元算法

本文来自<machine learning in action>一书的读书笔记

一. 什么是元算法(meta-algorithm)

元算法就是对其他算法进行组合的一种方式。也称为集成算法(ensemble method)，例如bagging方法和boosting

方法。它可以是不同算法的集成；也可以是同一算法在不同设置下的集成；还可以是数据集不同部分分配给不同分类

器之后的集成。

二. boosting方法与bagging方法的区别

bagging方法：也称为自举汇聚法(bootstrap aggregating)。是从原始数据集中选择S次后得到S个新数据集的一

种技术。这S个数据集的大小和原始数据集的大小一样。每个数据集都是在原始数据集上随机选择S次并替换得到的。

因此，新的数据集可能有重复的样本，原始数据集中的某些样本也可能不在新的数据集中。S个数据集经训练最后会

得到S个分类器，应用这S个分类器对测试样本进行分类，得到S个结果，选择投票结果中最多的类别作为最后的分类

结果。

boosting方法：与bagging方法很类似&#