集成思想的方法一般是集成多个弱分类器用以提高泛化能力。Bagging算法中,弱分类器的生成可以有以下几种:基于样本分布的弱分类器生成,可以根据样本分布抽样产生,也可以不抽样,在弱分类中应用样本分布(这种方法需要修改弱分类器的实现过程);基于属性选择的弱分类器生成,一般是在高维数据中,随机选择不同的属性组合产生弱分类器;基于参数变化的弱分类器生成,有些分类器对参数敏感,小的变化就会导致分类器的不同;基于异质的方法,是采用不同类型的分类器。Bagging中的弱分类器可以并行产生。Adaboost算法也是集成学习中的一个重要方法,其弱分类器的生成是一个串行过程,当前样本的分布同上次迭代的结果息息相关。由Adaboost衍生出许多集成算法,例如:Adaboost.M1,Adaboost.M2,Adaboost.MH,SAMME等等。
关于集成学习算法中弱分类器的生成
最新推荐文章于 2022-05-31 17:32:10 发布