机器学习-有监督学习-集成学习方法(一)：集成（Ensemble）学习方法综述【Bootstrap（Bagging装袋、Boosting提升）、Stacking堆叠、Blending融合】

一、集成学习方法（Ensemble Learning）

集成学习方法：通过建立几个分类(学习)器/模型组合的来解决单一预测问题。它的工作原理是生成多个分类(学习)器/模型，各自独立地学习和作出预测。这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。
集成学习方法：都建立在一个这样的假设上：将多个模型组合在一起通常可以产生更强大的模型。
集成学习方法：是通过训练弱干个弱学习器，并通过一定的结合策略，从而形成一个强学习器。有时也被称为多分类器系统(multi-classifier system)、基于委员会的学习(committee-based learning)等。

集成学习方法先产生一组“个体学习器”(individual learner)，再用某种策略将它们结合起来。通常来说，很多现有的学习算法都足以从训练数据中产生一个个体学习器。一般来说，我们会将这种由个体学习器集成的集成后的算法分为两类：

• 同质(homogeneous)集成，即集成中仅包含同种类型的一个体学习器，像“决策树集成”中就仅包含决策树，“神经网络集成”中就全是神经网络。同质集成中的个体学习器又称为基学习器(base learner)，相应的学习算法也被称为基学