随机森林总结

随机森林总结

流程

1. 用N来表示训练用例（样本）的个数，M表示特征数目
2. 对于每棵树的构建，通过有放回的抽样，取样N次，
   形成一个训练集（即bootstrap取样），并用未抽到的用例（样本）作预测，评估其误差。
3. 对于所有树中的每个节点的构建，从M个特征中随机选择m个（m应远小于M,根据Leo Breiman的建议，假设总的特征数量为M，这个比例可以是sqrt(M),1/2sqrt(M),2sqrt(M)）用于确定决策树上一个节点的决策结果
4. 树不需要进行剪枝
5. 按上述的方法构建多个树。
6. 将生成的多棵决策树组成随机森林。对于分类问题，按多棵树分类器投票决定最终分类结果；对于回归问题，由多棵树预测值的均值决定最终预测结果

小结：

1. 每棵树的训练集通过有放回的抽样N个组成
2. 每个节点的候选属性从特征集中无放回的取m个组成