Sklearn中的随机森林

Sklearn是python的机器学习算法的包，在整个机器学习过程中具有非常好的口碑。我把最近看的一些东西加上自己做实验的理解做了一份总结。

1.      随机森林介绍

随机森林是一种统计学习理论，其随机有两个方面：首先在训练的每一轮中，都是对原始样本集有放回的抽取固定数目的样本点，形成k 个互不相同的样本集。第二个点是：对于每一个决策树的建立是从总的属性中随机抽取一定量的属性作为分裂属性集，这样对于k个树分类器均是不相同的。由随机生成的k个决策树组成了随机森林。

对于每一个决策树来说，其分裂属性是不断地选取具有最大信息增益的属性进行排列。整个随机森林建立后，最终的分类标准采用投票机制得到可能性最高的结果。

2.      随机森林随机选择子集需要注意

a)        如果一共有K个特征，每次取其平方根数量即可

b)        设每棵树的深度为n，那么共有2^n个叶子节点，那么所需要的样本点按照经验来看，2^n * 1000的效果最好。至于选取多少特征，大概就是低于样本数量的千分之一，2∧树深＊1000＝样本数量。如果不超过1000的样本，怎么做效果没有多大区别，所以研究提取的特征意义不大。

3.      随机森林自我测试

有的资料上显示，随机森林使用63%的数据作为训练数据集，37%的数据作为测试数据，但是并没有什么科学依据。就是交叉验证就可以。

4.      随机森林用途

a)      很好的用于分类和回归问题

b)      离群点分析和异常检测

c)      显示的缺失数据的计算

5.      多种模型融合技术对比</