之前我们介绍了集成学习中的bagging算法以及决策树中的CART算法,其实在大家理解了这两个算法之后,随机森林就比较简单了,因为随机森林算法就是bagging+CART。
随机森林方法的框架就是bagging的框架,其中每一个弱分类器就是CART决策树。随机森林算法可以说是目前来讲准确率比较高并且速度也不慢的方法了。
bagging算法:https://blog.csdn.net/weixin_43216017/article/details/87880586
CART算法:https://blog.csdn.net/weixin_43216017/article/details/87617727
随机森林的构造过程
假设我们的数据是M*N的,即有M个观测、N个特征(自变量)
Step 1: 从M个数据中有放回地随机选择M个数据出来。这M个数据很可能是有重复的。这M个数据将作为每一个弱分类器(也就是CART树)的叶节点构成。
Step 2: 在N个特征中随机取n个特征。我们要求n << N,一般我们取 n