目录
集成学习(Ensemble Learning)作为一种流行的机器学习,它通过在数据集上构建多个模型,并集成所有模型的分析预测结果。
集成学习的目标:通过考虑多个评估器的预测分析结果,汇总后得到一个综合的结果,以达到比单个模型更好的回归/分类性能的结果。
多个模型集成的模型叫做集成评估器(ensemble estimator),其中的每个模型叫做基评估器(base estimator)。以基评估器的集成方式角度出发,集成算法可分为:
(1)装袋法(Bagging
)
方法的核心思想:构建多个相互独立的评估器,然后根据平均或多数表决原则来决定集成评估器的结果,其中典型的代表就是随机森林模型。
(2)提升法(Boosting
)
方法的核心思想:其评估器是相关的,即按照一定的顺序依次构建集成评估器。进而结合弱评估器的力量逐步提升集成器的评估能力,最终得到一个强评估器。常见的提升法模型有Adaboosting、GBDT、XGBoost、LightGBM
模型。