树模型系列之集成学习(Bagging、Boosting、Stacking)

树模型系列之集成学习(Bagging、Boosting、Stacking)

常见的集成学习框架有三种：Bagging，Boosting 和 Stacking

• Bagging:减少 variance
• boosting: 减少 bias
• stacking:增强预测效果

bagging

Bagging 是 bootstrap aggregation的缩写。每个基学习器都会对训练集进行有放回抽样得到子训练集，比较著名的采样法为 0.632 自助法。每个基学习器基于不同子训练集进行训练，并综合所有基学习器的预测值得到最终的预测结果。Bagging 常用的综合方法是投票法，票数最多的类别为预测类别。

例如n=4，m=4，数据条目数为8，bagging过程如下：每个bag从数据集里随机取样，然后训练，如下图

训练好后，预测新数据时，过程是一个投票（voting）。voting过程如下：