随机森林(Random Forests)简介
Nilsson在1965年提出:由多位专家组合而成,按一些特定的方式(如投票法,权重法)整合各位专家的意见进行决策,其得到的结果会比只有单个专家的效果更好。由于每位专家的擅长之处不同,因此通过组合的机制可以让专家之间彼此互补,得到更好的结果。
随机森林(Random Forests)属于套袋法的一种,是基于决策树所建立的,结合多个决策树的预测结果,而每棵树都是根据随机森林的随机向量的值所建立的。
随机森林在影响因素探讨上,现有研究表明,随机森林不需要估计一般回归分析面临的多元共线性的问题,不需要做变量选择,便于计算变量的非线性作用,而且可以评估自变量的重要性。
张雷, 王琳琳, 张旭东, 等. 随机森林算法基本思想及其在生态学中的应用: 以云南松分布模拟为例. 生态学报, 2014, 34(3): 650-659.
随机森林的估计过程
1)指定m值,即随机产生m个变量用于节点上的二叉树,二叉树变量的选择仍然满足节点不纯度最小原则;
2)应用Bootstrap自助法在原数据集中有放回地随机抽取k个样本集,组成k棵决