集成学习（一）：Bagging

Introduction

Ensemble Learning

集成学习通过综合多个模型的决策来生成最终决策，以达到提升整体决策准确性的目的。对于模型而言，噪音，bias和variance都会影响其效果，而集成学习可以通过使用不同的模型集成策略，来降低这些负面影响。一般来说，通过合理设计集成方法，最后得到的集成模型会更加稳定以及准确。
同时，集成模型的特点使其很适合使用分治的策略，每个基决策器可以用于处理问题的一部分，之后综合所有决策器便可全面的解决问题。当然，不同的集成方法尤其不同的特点和侧重点。
以接下来讨论的Bagging方法为例，它是通过样本采样（从总训练样本中，采样出多个训练子集，利用这些子集来训练不同的模型），和均值加权（所有模型民主投票）的策略，来达到降低variance的目的。

Bagging（Bootstrap Aggregating）

Overall

Bagging这种集成学习的方法可以有效地缓解模型overfitting的问题，并且使得模型更加稳定，泛化能力更强（降低variance）。达到这些目的关键是Bootstrap采样法。

Bootstrap Sampling