关于集成学习

一、什么是集成学习

1、集成学习的基本概念

        在机器学习的监督学习算法中，我们的目标是学习出一个稳定的且在各个方面表现都较好的模型，但实际情况往往不这么理想，有时我们只能得到多个有偏好的模型（弱监督模型，在某些方面表现的比较好）。集成学习就是组合这里的多个弱监督模型以期得到一个更好更全面的强监督模型，集成学习潜在的思想是即便某一个弱分类器得到了错误的预测，其他的弱分类器也可以将错误纠正回来。
        集成学习的思想是将若干个“弱”学习器（分类器和回归器）组合之后产生一个新学习器，这里弱分类器指那些分类准确率只稍微好于随机猜测的分类器。集成算法的成功在于保证弱分类器的多样性（Diversity），而且集成不稳定的算法也能够得到一个比较明显的性能提升。

2、集成学习的目的

• 弱分类器间存在一定的差异性，这会导致分类的边界不同，也就是说可能存在错误。那么将多个弱分类器合并后，就可以得到更加合理的边界，减少整体的错误率，实现更好的效果
• 对于数据集过大或者过小，可以分别进行划分和有放回的操作产生不同的数据子集，然后使用数据子集训练不同的分类器，最终再合并成为一个大的分类器
• 如果数据的划分边界过于复杂，使用线性模型很难描述这种情况，那么可以训练多个模型，然后再进行模型的融合
• 对于多个异构的特征集，很难进行融合，那么可以考虑每个数据集构建 一个分类模型，然后将多个模型融合。

3、集成学习的分类

（1）按照目的可以分为三类