集成学习—bagging方法之随机森林

集成学习：

也叫多分类器系统，通过构建并结合多个学习器来完成学习任务。目前集成学习的方法大致可分为两大类，即个体学习器间存在强依赖关系必须串行生成序列化方式，代表算法：Boosting。以及个体学习器之间不存在强依赖关系可同时生成的并行化方式，代表算法：Bagging和随机森林（Random Forest，简称RF）

Bagging:

并行学习方法中最著名的代表。基于自助采样法：包含m个样本的数据集，随机取出一个样本放入到采样集中，再把该样本放回到初始数据集，使得下次采样时仍可被选中，这样经过m次取样，初始数据集中的样本有的在采样集中多次出现，有的从未出现。
照这样，采样出T个含m个训练样本的采样集，基于每个样本训练出一个学习器，再将这些学习器进行结合。

随机森林：

随机森林是Bagging的一个扩展变体，RF在以决策树为基学习器构建Bagging集成的基础上，在决策树的训练过程中引入随机属性选择。在传统决策树在选择划分属性时是在当前节点的所有属性中选择一个最优属性；在RF中，对于基决策树的每个结点，先从该结点的属性集合中随机选取包含k个属性的子集，然后再从这个子集中选取一个最优属性
这样随机森林中基学习器的多样性不仅来自样本扰动，还来自属性扰动，使得最终的泛化能力提升