随机森林

随机森林引入

·随机森林（Random Forest，简称RF）是Bagging的一个扩展变体。RF在以决策树为基学习器构建Bagging集成的基础上，进一步在决策树的训练过程中引入了随机属性选择。
·具体来说，传统决策树在选择划分属性时是在当前结点的属性集合（假定有d个属性）中选择一个最优属性；而在RF中，对基决策树的每个结点，先从该结点的属性集合中随机选择一个包含k个属性的子集，然后再从这个子集中选择一个最优属性用于划分。这里的参数k控制了随机性的引入程度：若令k=d，则基决策树的构建与传统决策树相同；若令k=1，则是随机选择一个属性用于划分。

随机森林的定义

·随机森林是一个树型分类器{h（x，βk），k=1.…}的集合。其中基分类器h（x，βx）是用CART算法构建的没有剪枝的分类回归树；
·森林的输出采用简单多数投票法（针对分类）或单颗树输出结果的简单平均（针对回归）得到。

随机森林算法

1.随机选取训练样本集：使用Bagging方法形成每颗树的训练集；
2.随机选取分裂属性集：假设共有M个属性，指定一个属性数FsM，在每个内部结点，从M个属性中随机抽取F个属性作分裂属性集，以这F个属性上最好的分裂方式对结点进行分裂（在整个森林的生长过程中，F的值一般维持不变）；
3.每颗树任其生长，不进行剪枝。

对于随机森林的理解

“将若干个弱分类器的分类结果进行投票选择，从而组成一个强分类器，这就是随机森林bagging的思想
·关于bagging的一个有必要提及的问题：bagging的代价是不用单棵决策树来做预测，具体哪个变量起到重要作用变得未知，所以bagging改进了预测准确率但损失了解释性。

影响随机森林分类性能的主要因素

• ·森林中单颗树的分类强度（Strength）：每颗树的分类强度越大，则随机森林的分类性能越好。
• ·森林中树之间的相关度（Correlation）：树之间的相关度越大，则随机森林的分类性能越差。

随机森林的优点

• ·在当前所有算法中，具有极好的准确率；
• ·训练可以高度并行化，能够有效地运行在大数据集上；
• ·能够处理具有高维特征的输入样本，而且不需要降维；
• 对部分缺失的特征不敏感