随机森林

目录

随机森林概念

随机森林

随机森林分类效果的影响因素

随机森林的优缺点

常见问题

---

随机森林概念

随机森林属于集成学习的一种。

集成学习： 通过构建并结合多个分类器，完成学习任务。  期待状态，不同分类器‘和而不同’。主要有两类方法，a 个体学习器之间存在强依赖关系，需串行生成的序列化方法。代表算法 Boosting   b 个体学习器间不存在强依赖关系，可同时生成的并行化方法。代表算法 Bagging 和 随机森林

Bagging

步骤：

（1）给定包含m个样本的训练集，随机抽取一个样本放入采样集后放回，重复m次，得到一个含m个样本的采样集。

（2）以（1）的方法采样出T个采样集

（3）基于每个采样集训练出一个基学习器

（4）T个基学习器结合

特点：

Bagging主要关注降低方差

随机森林

概念：属于Bagging的一个拓展变体。 以决策树为基学习器构建Bagging集成的基础上，进一步在决策树训练过程中引入随机属性选择。（解决了决策树泛化能力弱的问题）

具体方法：

相较传统决策树划分属性时 在当前节点的属性集合里选择最优的特征。在随机森林里，对于基决策树的每个节点，先该节点的属性集合中选包含k个的子集，然后在该子集中选择最优属性用于划分。

当k=d，则基决策树的构建与传统决策树构建相同

当k=1，则基决策树构建是随机选择一个属性进行划分

通常情况下 k 取