集成学习

---

集成学习（ensemble learning）通过构建并结合多个学习器来完成学习任务

集成学习

集成中只包含同种类型的个体学习器，这样的集成是“同质”的（homogeneous），每个学习器被称为基学习器（base learner）。否则成为“异质”的（heterogeneous），这时个体学习器被称为组件学习器（component learner）或者直接成为个体学习器。

好的个体学习器应好而不同。但常常学习器的“准确性”和“多样性”是冲突的，在准确性较高的时候，要增加多样性就要牺牲准确性。

根绝个体学习器的生成方式，目前集成学习可以分为两大类，Boosting和Bagging。

Boosting

Boosting是一族可将弱学习器提升为强学习器的算法。这族算法的机制类似：先从初始训练集中训练一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器的表现在后续受到更多关注，然后基于调整后的样本分布训练下一个基学习器。

对于无法接受带权样本的学习算法，可以通过”重采样法“（re-sampling）处理，即在每一轮的学习中根据样本分布对训练集重新进行采样，再用重采样得到的样本集对基学习器进行训练

Bagging与随机森林

Bagging是并行式集成学习算法的代表。基于自助采样法，给定包含m个样本的数据集，按照又放回的采样m个样本，这样训练集中约有$63.$