集成学习 Ensemble Learning（一）

         集成学习, Ensemble Learning, 也叫基于委员会的学习，是解决有监督机器学习任务的一类方法，它的思路是基于多个学习算法的集成来提升预测结果      

       面对一个机器学习问题，通常有两种策略。一种是研发人员尝试各种模型，选择其中表现最好的模型做重点调参优化。这种策略类似于奥运会比赛，通过强强竞争来选拔最优的运动员，并逐步提高成绩。另一种重要的策略是集各家之长，如同贤明的君主广泛地听取众多谋臣的建议，然后综合考虑，得到最终决策。后一种策略的核心，是将多个分类器的结果统一成一个最终的决策。使用这类策略的机器学习方法统称为集成学习。其中的每个单独的分类器称为基分类器（最常用的基分类器是决策树）。

       集成学习不仅在学界的研究热度不减，在业界和众多机器学习竞赛中也有非常成功的应用。例如在Kaggle 竞赛中所向披靡的XGBoost，就是成功应用集成学习思想的一个例子。

 

集成学习在分类上的表现就是，多个弱分类器组合变成强分类器。

 

 

集成学习的集成方式分成两种，一种是串行（序列集成方法），一种是并行（并行集成方法）。