集成学习

1.个体与集成

集成学习是通过构建并结合多个学习器来完成学习任务，分为同质集成和异质集成。

集成学习将多个学习器结合，通常可以获得单一学习器优越的泛化性能，对“弱学习器”更明显。

2.Boosting

从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做的训练样本再后续受到更多关注，然后基于调整后的样本分布训练下一个基学习器，重复这个步骤，直到基学习器数目达到设置的阈值T，最终将T个基学习器进行加权结合。

3.Bagging和随机森林

Bagging采用自助采样法采出T个含m个训练样本的采样集，然后基于每个采样集训练基学习器，将这些基学习器结合的。

随机森林是在以决策树为基学习器构建Bagging集成的基础上，进一步在决策树的训练过程中引入了随机属性选择。

4.结合策略

结合策略有以下几个：平均法，投票法，学习法

5.多样性

个体学习器应好而不同，个体学习器准确性越高、多样性越大，集成越好。

多样性度量是用于度量集成个体分类器的多样性。

可以通过样本数据扰动、输入属性扰动、输出表示扰动、算法参数扰动增强多样性。