RF模型

（一）简介

1.随机森林(random  forests，RF)，指的是利用多棵树对样本进行训练并预测的一种分类器；该分类器最早由Leo Breiman和Adele Cutler提出，并被注册成了商标；简单来说，随机森林就是由多棵CART（Classification And Regression Tree）构成的；

2.随机森林顾名思义，是用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的；在得到森林之后，当有一个新的输 入样本进入的时候，就让森林中的每一棵决策树分别进行一下判断，看看这个样本应该属于哪一类（对于分类算法），然后看看哪一类被选择最多，就预测这个样本 为那一类；因此RF模型是一种bagging的集成学习方法；

（二）算法思想

1.在建立每一棵决策树的过程中，有两点需要注意 ：

（1）采样：RF模型t对输入的数据要进行行、列的采样；对于行采样，采用有放回的方式，也就是在采样得到的样本集合中，可能有重复的样本，假设输入样本为N个，那 么采样的样本也为N个，这样使得在训练的时候，每一棵树的输入样本都不是全部的样本，使得相对不容易出现过拟合；然后进行列采样，从M 个特征中，选择m个(m << M)；

（2）完全分裂：对采样之后的数据使用完全分裂的方式建立出决策树，这样决策树的某一个叶子节点要么是无法继续分裂的，要么里面的所有样本的都是指向的同一 个分类；一般很多的决策树算法都有一个重要的步骤 - 剪枝，但是这里不这样干，由于之前的两个随机采样的过程保证了随机性，所以就算不剪枝，也不会出现过拟合；

2.随机森林的随机性体现在每颗树的训练样本是随机的，树中每个节点的分类属性也是随机选择的；有了这2个随机的保证，随机森林就不会产生过拟合的现象了；

3.随机森林有2个参数需要人为控制，一个是森林中树的数量，一般建议取很大；另一个是m的大小，推荐m的值为M的均方根；