随机森林

随机森林

   随机森林主要应用于回归和分类。这里主要说一下利用随机分类进行分类，随机森林分类是一种非线性分类方法，当数据集无法确定是否线性可分，或者利用线性分类器的效果不好时可以考虑利用随机森林，你可能会说为啥不用SVM（kernel为高斯核或者多项式核），我曾经利用核SVM进行非线性分类，数据量为30万左右，训练速度贼慢，所以就考虑用随机森林，随机森林的训练速度比SVM还是要快好多倍的。。。

基本原理
随机森林就是由多棵决策树组成的分类器，当对一个测试样本 X 进行预测属于哪一个类别时，每一棵决策树给出分类结果，统计结果，数量多的那一个类别就是整个森林对X的分类结果。
如何生成每一棵决策树
每一棵决策树利用的训练样本量和原始数据集样本量相同，注意样本数据是有放回随机抽取的。
比如原始样本数据容量为N，在这个N个样本中有放回的抽取N次（有些样本可能被多次抽取到，而有些样本可能一次都没有被抽中），将抽取的这N个数据组成第一个决策树，重复m次就生成m棵决策树。随机抽样好理解，如果不进行随机抽样生成每一个决策树而是利用原始数据生成，那么m个决策树的训练模型将一致，这样和单个决策树毫无区别；至于为什么采用有放回的抽样

优点：

1. 列表内容

缺点：

参考
http://www.cnblogs.com/maybe2030/p/4585705.html