集成学习方法包括bagging和boosting法,随机森林是基于bagging框架的决策树模型,本文详细的总结了随机森林算法,尽可能的让大家对随机森林有一个全面的认识。
目录:
- 随机森林的算法流程
- 随机森林的应用场景
- 随机森林的相关性理解
- 随机森林蕴含的思想
- 随机森林的模型评估方法
- 总结
随机森林的算法流程
随机森林是基于bagging框架下的决策树模型,随机森林包含了很多树,每棵树给出分类结果,每棵树的生成规则如下:
(1) 如果训练集大小为N,对于每棵树而言,随机且有放回地从训练中抽取N个训练样本,作为该树的训练集,重复K次,生成K组训练样本集。
(2) 如果每个特征的样本维度为M,指定一个常数m<(3) 利用m个特征对每棵树尽最大程度的生长,并且没有剪枝过程。
随机森林的分类算法流程如下图:
随机森林的应用场景
吴恩达老师在《机器学习》公开课讲过,如何