【Machine learning】集成学习（ensemble learning）

“Ensemble methods” is a machine learning paradigwhere multiple(homogenous/heterogeneous)individual leaners are generated and combined forthe same problem.

集成学习通过构建并结合多个学习器来完成学习任务，有时也被成为多分类器系统。

一、介绍

集成学习的一般结构：

1.先生成一组个体学习器

2.再用某种策略将他们结合起来。

集成学习分为同质和异质。同质的集成包含的同种类型的个体学习器，通常称为基学习器；异质的当然包含的是不同的个体学习器，通常称为组件学习器。

集成学习可显著提高“弱学习器”的泛化能力。

学习的关键：

个体学习器应该“好而不同”。即个体学习器有一定的“准确性”（错误率小一点），并且要有“多样性”，即学习器间具有差异。

根据个体学习器的生成方式，目前的集成学习方法大致分为两大类：

1.个体学习器之间存在强依赖关系、必须串行生成的序列化方法，比如Boosting

2.个体学习之间不存在强依赖关系（相对独立），可同时生成的并行化方法，比如Bagging和“随机森林”。

 

二、Boosting（串行生成）

1.机制：

先从初始训练集训练出一个基