Level3 — PART 4 机器学习算法 — 集成学习

目录

模型融合

 多数法（Max Voting）

平均法（Averaging） 

加权平均法（Weighted Averaging） 

堆叠法（Stacking）​编辑

混合法（Blending） 

机器学习元算法

袋装法（Bagging）

通用袋装法

随机森林

提升法（Boosting）

AdaBoost

GBDT

案例

Python中实现GBDT

XGBoost

LightGBM

模拟题

CDA LEVEL III 模拟题（一）

CDA LEVEL III 模拟题（二） 

CDA LEVELⅢ 模拟题（2023新大纲） 

---

        集成学习（Ensemble Learning）作为一种流行的机器学习，它通过在数据集上构建多个模型，并集成所有模型的分析预测结果。

        集成学习的目标：通过考虑多个评估器的预测分析结果，汇总后得到一个综合的结果，以达到比单个模型更好的回归/分类性能的结果。

        多个模型集成的模型叫做集成评估器(ensemble estimator)，其中的每个模型叫做基评估器(base estimator)。以基评估器的集成方式角度出发，集成算法可分为：

（1）装袋法（Bagging）

        方法的核心思想：构建多个相互独立的评估器，然后根据平均或多数表决原则来决定集成评估器的结果，其中典型的代表就是随机森林模型。

（2）提升法（Boosting）

        方法的核心思想：其评估器是相关的，即按照一定的顺序依次构建集成评估器。进而结合弱评估器的力量逐步提升集成器的评估能力，最终得到一个强评估器。常见的提升法模型有Adaboosting、GBDT、XGBoost、LightGBM模型。