关于集成学习算法中弱分类器的生成

       集成思想的方法一般是集成多个弱分类器用以提高泛化能力。Bagging算法中，弱分类器的生成可以有以下几种：基于样本分布的弱分类器生成，可以根据样本分布抽样产生，也可以不抽样，在弱分类中应用样本分布（这种方法需要修改弱分类器的实现过程）；基于属性选择的弱分类器生成，一般是在高维数据中，随机选择不同的属性组合产生弱分类器；基于参数变化的弱分类器生成，有些分类器对参数敏感，小的变化就会导致分类器的不同；基于异质的方法，是采用不同类型的分类器。Bagging中的弱分类器可以并行产生。Adaboost算法也是集成学习中的一个重要方法，其弱分类器的生成是一个串行过程，当前样本的分布同上次迭代的结果息息相关。由Adaboost衍生出许多集成算法，例如：Adaboost.M1，Adaboost.M2，Adaboost.MH，SAMME等等。