集成学习, Ensemble Learning, 也叫基于委员会的学习,是解决有监督机器学习任务的一类方法,它的思路是基于多个学习算法的集成来提升预测结果
面对一个机器学习问题,通常有两种策略。一种是研发人员尝试各种模型,选择其中表现最好的模型做重点调参优化。这种策略类似于奥运会比赛,通过强强竞争来选拔最优的运动员,并逐步提高成绩。另一种重要的策略是集各家之长,如同贤明的君主广泛地听取众多谋臣的建议,然后综合考虑,得到最终决策。后一种策略的核心,是将多个分类器的结果统一成一个最终的决策。使用这类策略的机器学习方法统称为集成学习。其中的每个单独的分类器称为基分类器(最常用的基分类器是决策树)。
集成学习不仅在学界的研究热度不减,在业界和众多机器学习竞赛中也有非常成功的应用。例如在Kaggle 竞赛中所向披靡的XGBoost,就是成功应用集成学习思想的一个例子。
集成学习在分类上的表现就是,多个弱分类器组合变成强分类器。
集成学习的集成方式分成两种,一种是串行(序列集成方法),一种是并行(并行集成方法)。
集成学习 Ensemble Learning(一)
最新推荐文章于 2024-09-02 14:20:21 发布