随机森林原理

随机森林(Random Forest，RF)

1、前言：集成学习(ensemble learning)

概念：集成学习通过训练多个分类器，然后把这些分类器组合起来，以达到更好的预测性能。

集成学习算法之一：Boosting，它的特点是各个弱学习器之间有依赖关系。他通过迭代地训练一系列的分类器，每个分类器采用的样本的选择方式都和上一轮的学习结果有关。例如在AdaBoost中，之前分类错误的样本有较高的可能性被选到，在之前分类正确的样本有较小的概率被选到。就像你在背单词，你今天总会选择前面几天背不下来的单词，Boosting也会选择前面轮数没学下来的样本。这个类别下面的主要算法是AdaBoost和梯度提升树（GBDT）。

集成学习算法之二：Bagging，它的特点是各个弱学习器之间没有依赖关系，可以并行拟合。每个分类器的样本按这样的方式产生：每个分类器都随机从原样本中做有放回的采样，然后分别在这些采样后的样本上训练分类器，然后再把这些分类器组合起来。简单的多数投票一般就可以。这个类别有个非常牛逼的算法叫Random Forest,它的每个基分类器都是一棵决策树，如果你仔细学习你会发现它的每棵树和基本的决策树的不同，非常神奇的算法。

2、bagging原理

bagging集成学习方法可以利用下图说明：

从上图可以看出，Bagging的弱学习器之间的确没有boosting那样的联系。它的特点在“随机采样”。那么什么是随机采样？

随机采样(bootsrap)就是从我们的训练集里面采集固定个数的样本，但是每采集一个样本后，都将样本放回。也就是说，之前

采集到的样本在放回后有可能继续被采集到。对于我们的Bagging算法，一般会随机采集和训练集样本数m一样个数的样本。这样得

到的样本集和训练集样本的个数相同，但是样本内容不同。如果我们对有m个样本训练集做T次的随机采样，，则由于随机性，T个

采样集各不相同。注意到这和GBDT的子采样是不同的。GBDT的子采样是无放回采样，而Bagging的子采样是放回采样。

对于一个样本，它在某一次含m个样本的训练集的随机采样中，每次被采集到的概率是1/m。不被采集到的概率为1−1/m。如

果m次采样都没有被采集中的概率是(1−1/m)^m。当m→∞m→∞时,(1−1/m)^m→ 1/e≃0.368。也就是说，在bagging每轮随机

采样中，训练集中大约有36.8%的数据没有被采样集采集中。

对于这部分大约36.8%的没有被采样到的数据，我们常常称之为袋外数据(Out Of Bag, 简称OOB)。这些数据没有参与训练集

模型的拟合，因此可以用来检测模型的泛化能力。

bagging对于弱学习器没有限制，这和Adaboost一样。但是最常用的一般也是决策树和神经网络。

bagging的集合策略也比较简单，对于分类问题，通常使用简单投票法，得到最多票数的类别或者类别之一为最终的模型输出

。对于回归问题，通常使用简单平均法，对T个弱学习器得到的回归结果进行算术平均得到最终的模型输出。

由于Bagging算法每次都进行采样来训练模型，因此泛化能力很强，对于降低模型的方差很有作用。当然对于训练集的拟合程

度就会差一些，也就是模型的偏倚会大一些。

3、bagging算法流程

上一节我们对bagging算法的原理做了总结，这里就对bagging算法的流程做一个总结。相对于Boosting系列的Adaboost和GBDT，bagging算法要简单的多。
输入为样本集D={(x1,y1),(x2,y2),...(xm,ym)}，弱学习器算法, 弱分类器迭代次数T。输出为最终的强分类器f(x).
1）对于t=1,2...,T:

• a)对训练集进行第t次随机采样，共采集m次，得到包含m个样本的采样集Dm
• b)用采样集Dm训练第m个弱学习器Gm(x)

2) 如果是分类算法预测，则T个弱学习器投出最多票数的类别或者类别之一为最终类别。如果是回归算法，T个弱学习器得到的回归结果进行算术平均得到的值为最终的模型输出。

4、随机森林算法

理解了bagging算法，随机森林(Random Forest,以下简称RF)就好理解了。它是Bagging算法的进化版，也就是说，它的思想仍然是bagging,但是进行了独有的改进。我们现在就来看看RF算法改进了什么。

　　

首先，RF使用了CART决策树作为弱学习器，这让我们想到了梯度提示树GBDT。第二，在使用决策树的基础上，RF对决策树的建立做了改进，对于普通的决策树，我们会在节点上所有的n个样本特征中选择一个最优的特征来做决策树的左右子树划分，但是RF通过随机选择节点上的一部分样本特征，这个数字小于n，假设为nsub，然后在这些随机选择的nsub个样本特征中，选择一个最优的特征来做决策树的左右子树划分。这样进一步增强了模型的泛化能力。

如果nsub=nnsub=n，则此时RF的CART决策树和普通的CART决策树没有区别。nsub越小，则模型约健壮，当然此时对于训练集的拟合程度会变差。也就是说nsub越小，模型的方差会减小，但是偏倚会增大。在实际案例中，一般会通过交叉验证调参获取一个合适的nsub的值。

除了上面两点，RF和普通的bagging算法没有什么不同， 下面简单总结下RF的算法。

输入为样本集D={(x1,y1),(x2,y2),...(xm,ym)}，弱分类器迭代次数T。输出为最终的强分类器f(x):

1）对于t=1,2...,T:

• a)对训练集进行第t次随机采样，共采集m次，得到包含m个样本的采样集Dm
• b)用采样集Dm训练第m个决策树模型Gm(x)，在训练决策树模型的节点的时候， 在节点上所有的样本特征中选择一部分样本特征，在这些随机选择的部分样本特征中选择一个最优的特征来做决策树的左右子树划分

2) 如果是分类算法预测，则T个弱学习器投出最多票数的类别或者类别之一为最终类别。如果是回归算法，T个弱学习器得到的回归结果进行算术平均得到的值为最终的模型输出。

5、随机森林小结

RF的主要优点有：
1）训练可以高度并行化，对于大数据时代的大样本训练速度有优势。个人觉得这是的最主要的优点。
2）由于可以随机选择决策树节点划分特征，这样在样本特征维度很高的时候，仍然能高效的训练模型。
3）在训练后，可以给出各个特征对于输出的重要性
4）由于采用了随机采样，训练出的模型的方差小，泛化能力强。
5）相对于Boosting系列的Adaboost和GBDT， RF实现比较简单。
6）对部分特征缺失不敏感。
RF的主要缺点有：
1)在某些噪音比较大的样本集上，RF模型容易陷入过拟合。
2)取值划分比较多的特征容易对RF的决策产生更大的影响，从而影响拟合的模型的效果