集成学习

集成学习通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统，基于委员会的学习等。

集成学习的一般结构：先产生一组个体学习器，再用某种策略将它们结合起来。个体学习器通常由一个现有的学习算法从训练数据产生。

如果决策树集成中全是决策树，神经网络集成中全是神经网络，这样的集成是同质的。同质集成中的个体学习器亦称基学习器，相应的学习算法称为基学习算法。

集成也可以包含不同类型的个体学习器，例如同时包含决策树和神经网络，这样的集成是异质的。

异质集成中的个体学习器由不同的学习算法生成，这时就不再有基学习算法，相应的个体学习器一般不称为基学习器，常称为组件学习器或直接称为个体学习器。

弱学习器常指泛化性能略优于随机猜测的学习器，例如在二分类问题上精度略高于50%的分类器。

 

集成学习通过将多个学习器进行结合，常可获得比单一学习器显著优越的泛化性能。这对弱学习器尤为明显，因此集成的很多理论研究都是针对弱学习器进行的，而基学习器有时也被直接称为弱学习器，但需注意的是，虽然从理论上来说使用弱学习器集成足以获得好的性能，但在实际中出于种种考虑，例如希望使用较少的个体学习器，或是重用关于常见学习器的一些经验，人们往往会使用比较强的学习器。

 

要获得好的集成，个体学习器应好而不同，即个体学习器要有一定的准确性，即学习器不能太坏，并且要有多样性，即学习器间具有差异性。

 

随着集成中个体分类器数目T的增大，集成的错误率将指数级下降，最终趋向于零。然而必须注意到这样的分析有一个关键的假设：基学习器的误差相互独立。在现实任务中，个体学习器是为解决同一个问题训练出来的，它们显然不可能相互独立！事实上，个体学习器的准确性和多样性本身就存在冲突。一般的，准确性很高之后，要增加多样性就得牺牲准确性。事实上，如何产生并结合好而不同的个体学习器，恰是集成学习研究的核心。

根据个体学习器的生成方式，目前的集成学习方法大致可分为两大类，

①个体学习器间存在强依赖关系，必须串行生成的序列化方法，代表：Boosting

②个体学习器间不存在强依赖关系，可同时生成的并行化方法, 代表：Bagging 和随机森林

集成学习其实就是群体决策思想