RandomForest 随机森林
在上一篇博文 “集成算法— 简介 + 决策树”中,简要介绍了集成算法的3种分类:Boosting、Bagging、Stacking以及它们经常使用的弱分类器—决策树(分类树和回归树)。集成算法可分为序列集成法和并行集成法:(1)序列集成法,是指参与训练的基础学习器按照顺序生成(如 AdaBoost),利用基础学习器之间的依赖关系,通过对之前训练中错误标记的样本赋值较高的权重,提高整体的预测效果;(2)并行集成法,是指其中参与训练的基础学习器并行生成(如 Random Forest),利用基础学习器之间的独立性,通过平均降低错误。
算法原理
1)每轮从数据集中抽取n个训练样本(在训练集中,有些样本可能被多次抽取到,而有些样本可能一次都没有被抽中),样本是有放回的抽取;
2)共进行k轮抽取,得到k个训练集(k个训练集之间是相互独立的);
3)对分类问题:对于将得到的k个模型采用投票的方式得到分类结果,各模型权重相等;对回归问题,计算k个模型的均值作为结果。
对于随机森林“随机”的理解
1)取样是随机的,并且是有放回的取样:
如果不是有放回的取样,那么每棵树都是没有交集的,是“有偏的”,尤其是对于样本量小或者是数据特征差别比较大的数据集,每棵树训练出来的预测结果差异会很大,而随机森林最后分类取决于多棵树的投票表决,因此若每棵树预测结果差异很大,那其对最终分类结果没有帮助。
2)随机选择特征,比如7个特征随机选5个:
在不知道哪些特征起作用&#x