集成学习笔记

集成学习通过结合规则，使用一系列弱学习器来组成一个强学习器

集成学习通常有两个步骤，ensemble generation 和 ensemble integration ，通常在两个步骤之间会有一个 pruning process 剪枝过程

ensemble generation

是使用训练数据获得多个弱学习器的过程，产生的弱学习器叫做 base learner/models 基学习器，可以是同构的也可以是异构的，通常同构的情况更容易分析，所以较为普遍，有两种方式可以获得基学习器，序列化的或者说串行产生的是 boosting 对应于 sequentially，并行获得的是 bagging 对应的是 parallel

ensemble integration

是使用一定的组合规则，将基学习器组合成一个强的学习器

最简单的做法就是求平均，将所有基学习器的答案，去一个平均值，该方法适用于数值预测类的问题，或者说是回归问题

另一个比较简单的方法是投票，类似于ABCD四个选项，如果大部分学习器都选择了A，那最后就按A答案来，所以该方法更适合于分类问题

最后一个基本策略就是再找一个学习器来融合其他学习器的结果，这类方法属于stacking