决策树是各种机器学习任务的常用方法。 决策树是比较能满足于数据挖掘的方法,因为它在特征值的缩放和其他各种转换下保持不变,对无关特征是可靠的,而且能生成可被检查的模型。
然而,生长很深的树容易学习到高度不规则的模式,即过学习,在训练集上具有低偏差和高方差的特点。随机森林是平均多个深决策树以降低方差的一种方法,其中,决策树是在一个数据集上的不同部分进行训练的。这是以偏差的小幅增加和一些可解释性的丧失为代价的,但是在最终的模型中通常会大大提高性能。
简单来说,随机森林是一堆的决策树组成的,每一个决策树有一个结果,看有多少个决策树对同一个Y进行了投票我们就可以确定Y。分类就是少数服从多数,回归就是各个决策树去平均值。
随机森林是在机器学习里面是一个能达到非常非常好的分类回归结果的模型,大家经常看到的datacastle的那类的数据比赛,也是非常多使用随机森林的。我们直接拿随机森林进行分类或回归,一般也能得到比较好的结果。绝大多数情况下,随机森林都会比线性回归、logistic分类、K近邻、决策树要好。
在python的sklearn中,随机森林的实现是非常简单的。
from sklearn import ensemble
rf = ensemble.RandomForestClassifier(n_estimators=n)
rf = ensemble.RandomForestRegressor(n_estimators=n)
rf.fit(X,y)
具体关于随机森林的内容,请参考维基百科
下面我们来看看具体的随机森林怎么实现
1、导入相关的库</