机器学习算法（六）——集成学习三 之Bagging算法

Bagging直接基于自助采样法bootstrap sampling。

自助采样法的步骤是：给定包含 N个样本的数据集：

先随机取出一个样本放入采样集中，再把该样本放回原始数据集。
这样经过 N 次随机采样操作，得到包含 N个样本的采样集。
初始训练集中有的样本在采样集中多次出现，有的则从未出现。一个样本始终不在采样集中出现的概率是 。

根据

因此初始训练集中约有 63.2% 的样本出现在了采样集中。

自助采样法给Bagging算法带来了额外的优点：由于每个基学习器只用初始训练集中约 63.2% 的样本来训练，剩下的约 36.8% 的样本可用作验证集来对泛化性能进行包外估计。

Bagging的基本流程：

经过 轮自助采样，可以得到 个包含 个训练样本的采样集。
然后基于每个采样集训练出一个基学习器。
最后将这 个基学习器进行组合，得到集成模型。
在使用 Bagging学习器进行预测时：

分类任务采取简单投票法，取每个基学习器的预测类别的众数。
回归任务使用简单平均法，取每个基学习器的预测值的平均。
从偏差-方差分解的角度来看：

Bagging主要关注降低方差，它能平滑强学习器的方差。

因此它在非剪枝决策树、神经网络等容易受到样本扰动的学习器上效果更为明显。

Boosting 主要关注降低偏差，它能将一些弱学习器提升为强学习器。

因此它在SVM 、knn 等不容易受到样本扰动的学习器上效果更为明显