集成学习bagging与boosting

集成学习是机器学习中的一种策略，旨在结合多个学习器的预测结果，以提高总体性能，减少过拟合，增强模型的泛化能力。Boosting和Bagging是集成学习中两种非常著名的方法，它们虽然共享集成多个学习器以达到更好性能的共同目标，但在方法论和应用上存在一些关键的区别。

Bagging (Bootstrap Aggregating)

• 并行训练：Bagging通过在原始数据集上构建多个训练集的方式来创建多个学习器。这些训练集是通过随机采样（有放回）生成的，允许重复样本。然后，这些学习器可以并行训练。
• 减少方差：Bagging主要目的是通过平均多个模型的预测结果来减少模型的方差，特别是对于复杂模型（如决策树）来说，这可以有效防止过拟合。
• 投票/平均：对于分类问题，Bagging通过多数投票的方式决定最终结果；对于回归问题，则通过平均预测值来得到最终结果。
• 代表性算法：随机森林是Bagging的一个典型例子，它通过构建多个决策树并结合它们的预测结果来提高整体性能。

Boosting

• 串行训练：Boosting方法按顺序逐个训练学习器。每个新的学习器都根据前一个学习器的性能调整数据的权重，关注前一个学习器预测错误的样本，使得模型在这些样本上表现得更好。
• 减少偏差：Boosting的主要目的是减少模型的偏差。通过连续修正错误，Boosting方法可以创建一个高精度的模型。
• 加权投票：对于最终的决策，Boosting通常采用加权多数投票的方式。不同学习器的权重不同，这取决于它们的准确率。
• 代表性算法：AdaBoost（自适应增强），Gradient Boosting，XGBoost是Boosting方法的著名例子，它们通过关注前一轮弱学习器错误预测的样本来提高性能。

主要区别

• 训练方式：Bagging的训练是并行的，各个模型之间相互独立；Boosting的训练则是串行的，后一个模型依赖于前一个模型的结果。
• 关注点：Bagging主要是为了减少模型的方差，特别是对于那些容易过拟合的模型；而Boosting则是为了减少偏差，提高模型的准确度。
• 样本权重：在Boosting中，样本权重根据前一个学习器的错误率进行调整，而在Bagging中，所有样本被等同对待（尽管采样是有放回的）。
• 结果汇总：Bagging通常使用简单投票或平均来汇总结果，而Boosting使用加权的方式来综合各个学习器的预测。