机器学习——随机森林算法randomForest——原理及python实现

参考：

http://blog.csdn.net/nieson2012/article/details/51279332

http://www.cnblogs.com/wentingtu/archive/2011/12/22/2297405.html

http://www.cnblogs.com/pinard/p/6156009.html

算法描述：

1、加载数据（训练数据和测试数据），假设训练集总数为N个。

2、去除掉数据集中的某些特征项（无用的特征）。

3、将预测标签从数据集中暂时去除。

4、设定每次选取的特征数目，比如每个样本有M个特征，每次我们只用2个特征。

4、循环创建每棵树：

每次从M个特征里随机选2个特征，并将标签重新加进来

从训练集中有放回的抽取N个样本，并且这个N个样本只包含3个特征，即创建了一个新的数据子集。

用创建的数据子集创建一棵树：

对数据子集进行切分：

先得到数据子集的初始基尼系数。

对于2个选取的特征：

对于特征里的每种取值：