Bagging与随机森林

Bagging与随机森林

Bagging

自助法（bootstrapping）

给定包含$m$个样本的数据集 $D$，我们对它进行采样产生数据集 $D'$：每次随机从 $D$ 中挑选一个样本，将其拷贝放入 $D'$，然后再将该样本放回初始数据集 $D$ 中，使得该样本在下次采样时仍有可能被采到；这个过程重复执行 $m$ 次后，我们就得到了包含 $m$ 个样本的数据集 $D'$，这就是自助采样的结果。显然，$D$ 中有一部分样本会在 $D'$中多次出现，而另一部分样本不出现。可以做一个简单的估计，样本在 $m$ 次采样中始终不被采到的概率是 $(1- \frac {1} {m})^m$，取极限得到

$$\lim_{x \to \infty} \left(1- \frac {1}{m} \right)^m \to \frac{1} {e} \approx 0.368$$

即通过自助采样，初始数据集 $D$ 中约有 $36.8\%$ 的样本未出现在采样数据集 $D'$ 中。那这些数据可以用作验证集来对泛化性能进行“包外估计”。

流程

通过自助采样法，可以采样出 $T$ 个含 $m$ 个训练样本的采样集，然后基于每个采样集训练出一个基学习器，再将这些基学习器进行结合。在对预测输出值进行结合时，Bagging 通常对分类任务使用简单投票法，对回归任务使用简单平均法。

随机森林

随机森林是Bagging的一个扩展变体。RF 在以决策树为基学习器构建 Bagging 集成的基础上，进一步在决策树的训练过程中引入了随机属性选择。传统决策树在选择划分属性时是在当前的节点的属性集合（假定有 $d$ 个属性）中选择一个最优属性；而在RF中，对基决策树的每个节点，先从该节点的属性集合中随机选择一个包含 $k$ 个属性的子集，然后再从这个子集中选择一个最优属性用于划分。这里 $k$ 控制了随机性的引入程度。推荐 $k=log_2d$。
值得一提的是，随机森林的训练效率常优于 Bagging，因为在个体决策树的构建过程中，Bagging使用的是“确定型”决策树，在选择划分属性时要对节点的所有属性进行考察。而随机森林使用的“随机型”觉得书则只需要考察一个属性子集。

结合策略

由于学习任务的假设空间往往很大，可能有多个假设在训练集上达到同等性能，此时若使用单学习器可能因误选而导致泛化性能不佳。第二，学习算法往往会陷入局部极小，有的局部极小点对应的泛化性能可能很糟糕，而通过多次运行后进行结合，可降低陷入糟糕局部极小点的风险。