python随机森林 交叉验证_随机森林算法详解及Python实现

一 简介

随机森林是一种比较有名的集成学习方法，属于集成学习算法中弱学习器之间不存在依赖的一部分，其因为这个优点可以并行化运行，因此随机森林在一些大赛中往往是首要选择的模型。

随机森立中随机是核心，通过随机的选择样本和选择特征，降低了决策树之间的相关性，随机森立中的随机主要有两层意思，一是随机在原始训练数据中有放回的选取等量的数据作为训练样本，二是在建立决策树时，随机的选特征中选取一部分特征建立决策树。这两种随机使得各个决策树之间的相关性小，进一步提高模型的准确性。

二、算法介绍

假设训练集中n个样本，每个样本有d个特征，需要训练一个包含T棵数的随机森立，具体的算法流程如下所示：

1、对于T棵决策树，分别重复一下操作：

a 使用Bootstrap抽样，从训练集D获得大小为n的训练集D；

b 从d个特征中随机选取m(m

2 如果是回归问题，则最后的输出是 每个树输出的均值；

3 如果是分类问题，则根据投票原则，确定最终的类别。

每棵树的生成都是随机的，至于随机选取的特征数，如何决定随机选取的特征数的大小呢，主要有两种方法，一种是交叉验证，另外一种的经验性设置 m= log_2 d +1。

模型的性能评估

1、分类间隔：分类间隔是指森林中正确分类样本的决策树的比例减去错误分类的决策树的比例，通过平均每个样本的分类间隔得到随机森林的分类间隔。对于分类间隔，当然是越大越好，大的分类间隔说明模型的分类效果比较稳定，泛化效果好。