集成学习

集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统(multi-classifier system) 、基于委员会的学习(committee-based learning) 等。
集成学习的一般结构:
先产生一组“个体学习器”(individual learner)，再用某种策略将它们结合起来。

个体学习器通常由一个现有的学习算法从训练数据产生，例如C4.5 决策树算法、BP 神经网络算法等，此时集成中只包含同种类型的个体学习器，例如”决策树集成”中全是决策树”神经网络集成”中全是神经网络，这样的集成是”同质”的(homogeneous) 。同质集成中的个体学习器亦称”基学习器” (base learner),相应的学习算法称为”基学习算法” (base learning algorithm). 集成也可包含不同类型的个体学习器，例如同时包含决策树和神经网络，这样的集成是”异质”的(heterogenous) .异质集成中的个体学习器由不同的学习算法生成，这时就不再有基学习算法;相应的，个体学习器一般不称为基学习器，常称为”组件学习器” (component learner) 或直接称为个体学习。

集成学习通过将多个学习器进行组合，常可获得比单一学习器显著优越的泛化能力，这对弱学习器尤为显著。因此，集成学习的很多理论研究都是针对弱学习器进行。

更需要注意的是，要获得好的集成，个体学习器应“好而不同”，即个体学习器要有一定的“准确性”，即学习器不能太坏，并且要有“多样性”，即学习器间有差。

一般情况下，个体学习器的“准确性”和”多样性”存在冲突。.一般的，准确性很高之后，要增加多样性就需牺牲准确性.事实上，如何产
生并结合”好而不同”的个体学习器，恰是集成学习研究的核心.

根据个体学习器的生成方式，目前的集成学习方法大致可分为两大类：即个体学习器问存在强依赖关系、必须串行生成的序列化方法?以及个体学习器
间不存在强依赖关系、可同时生成的并行化方法;前者的代表是Boosting ，后者的代表是Bagging 和”随机森林” (Random Forest).