2021-09-10 Bagging[7](并 行)和Boosting[8](串行)是两种常见的集成学习方法

Bagging[7](并 行)和

Boosting[8](串行)是两种常见的集成学习方法，这 两者的区别在于集成的方式是并行还是串行。随机森林 算法(Random Forests)[9]是Bagging集成方法里最具有代表性的一个算法，这也是本文重点总结的算法。 随机森林是基于决策树的一种集成学习算法。决 策树是广泛应用的一种树状分类器，在树的每个节点 通过选择最优的分裂特征不停地进行分类，直到达到 建树的停止条件，比如叶节点里的数据都是同一个类 别的。当输入待分类样本时，决策树确定一条由根节 点到叶节点的唯一路径，该路径叶节点的类别就是待 分类样本的所属类别。决策树是一种简单且快速的非 参数分类方法，一般情况下，它有很好的准确率，然 而当数据复杂时，决策树有性能提升的瓶颈。随机森 林是2001年由Leo Breiman将Bagging集成学习理论[10] 与随机子空间方法[11]相结合，提出的一种机器学习算 法。随机森林是以决策树为基分类器的一个集成学习 模型，如图1所示，它包含多个由Bagging集成学习技 术训练得到的决策树，当输入待分类的样本时，最终 的分类结果由单个决策树的输出结果投票决定。随机 森林解决了决策树性能瓶颈的问题，对噪声和异常值 有较好的容忍性，对高维数据分类问题具有良好的可 扩展性和并行性。此外，随机森林是由数据驱动的一 种非参数分类方法，只需通过对给定样本的学习训练 分类规则，并不需要先验知识。

 

 假定给定的数据集为随机森林是在此数据集上以M个决策树 {g(D,θm),m=1,2,…,M}为基分类器，进行集成学习后得 到的一个组合分类器。当输入待分类样本时，随机森林 输出的分类结果由每个决策树的分类结果进行多数投票 决定。随机森林里有两个重要的随机化，如图2所示。