机器学习--集成学习（Ensemble Learning）

一、集成学习介绍：
我们在训练模型中，目标是学习出一个稳定的且各个方面表现都较好的模型，但实际情况往往不理想，很多时候只能得到多个有偏好的模型（弱分类器，在某些方面表现的比较好）。集成学习就是组合多个弱分类器以期得到一个更好更全面的强分类器，集成学习潜在的思想是即便某一个弱分类器得到了错误的预测，其他的弱分类器也可以将错误纠正回来。

PS：弱分类器：一个分类器的分类准确率在60%-80%，即：比随机预测略好，但准确率却不太高，可以称之为“弱分类器”，比如CART（classification and regression tree）。而若分类精度在90%以上，则是强分类器。

集成方法是将几种机器学习技术组合成一个预测模型的元算法，以达到减小方差（bagging）、偏差（boosting）或改进预测（stacking）的效果。

集成学习在各个规模的数据集上都有很好的策略。

数据集大：划分成多个小数据集，学习多个模型进行组合。

数据集小：利用Bootstrap方法进行抽样，得到多个数据集，分别训练多个模型再进行组合。

集合方法可分为两类：

序列集成方法，其中参与训练的基础学习器按照顺序生成（例如 AdaBoost）。序列方法的原理是利用基础学习器之间的依赖关系。通过对之前训练中错误标记的样本赋值较高的权重，可以提高整体的预测效果。
并行集成方法，其中参与训练的基础学习器并行生成（例如 Random Forest）