机器学习强基计划10-3：详解Bagging与随机森林算法(附Python实现)

0 写在前面

机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理；“广”在分析多个机器学习模型：决策树、支持向量机、贝叶斯与马尔科夫决策、强化学习等。强基计划实现从理论到实践的全面覆盖，由本人亲自从底层编写、测试与文章配套的各个经典算法，不依赖于现有库，可以大大加深对算法的理解。

🚀详情：机器学习强基计划(附几十种经典模型源码)

---

1 Bagging框架

并行集成学习通过并行地训练多个基础模型，并将它们的预测结果进行集成，以提高整体的学习性能和泛化能力。

在并行集成学习算法中，首先需要构建一个包含多个基础模型的集合。这些基础模型可以使用不同的学习算法或具有不同的参数设置。然后，训练数据会被分成多个子集，每个子集用于训练一个基础模型。在并行训练过程中，每个基础模型都独立地学习数据，并生成预测结果。这些预测结果可以通过投票、平均值或加权平均等方式进行集成。最终的集成结果被视为最终预测结果。

自助引导聚合算法(bootstrap aggregating, Bagging)