集成学习：对比 Boosting & Bagging、Stacking

1、集成学习（Emsemble Learning）

• 通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统（Multi-classifier System）
• 通俗说法：先产生一组“个体学习器”，再用某种策略将它们结合。
• 作用：通过结合多个学习器，通常可获得比单一学习器显著优越的泛化性能。
• 分类：① 侧重于得到个体学习器（Boosting & Bagging） ② 侧重于结合个体学习器（Stacking）
  

2、Boosting & Bagging

Boosting & Bagging 算法皆侧重于得到更合适的学习器，最主要的区别在于：

• Boosting：个体学习器间存在强依赖关系、必须串行生成的序列化方法（eg：AdaBoost、GBDT）
• Bagging：个体学习器间不存在强依赖关系、可同时生成的并行化方法（eg：随机森林）

2.1 Boosting

• Boosting 是一族可将弱学习器提升为强学习器的算法，其工作机制类似：
  ① 先从初始训练集训练出一个基学习器
  ② 再根据基学习器的表现对样本分布进行调整，使