为什么要进行集成学习

为什么要进行集成学习

集成学习的思想是将若干个学习器(分类器、回归器)组合之后产生一个新的学习器。

弱分类器(weak learner): 指那些分类准确率值只稍好于随机猜测的分类器(error<0.5);

集成算法的成功在于保证弱分类器的多样性。而且集成不稳定的算法也能够得到一个比较明显的性能提升。

选择集成学习主要原因：
1、弱分类器间存在一定的差异性，这会导致分类的边界不同，也就是说可能存在错误。那么将多个若分类器合并后，就可以得到更加合理的边界，减少整体的错误率，实现更好的效果。

---

2、对于数据集过大或者过小，可以分别进行划分和有放回的操作，产生不同的数据子集，然后使用数据子集训练不同的分类器，最终再合并成一个大分类器。

3、如果数据的划分边界过于复杂，使用线性模型很难描述情况，那么可以训练多个模型，然后再进行模型的融合。

4、对于多个异构的特征集，很难进行融合。那么可以考虑为每个数据集构建一个分类模型，然后将多个模型融合。