【机器学习第二期】MATLAB实现随机森林法

1 原理

随机森林（Random Forest, RF）是基于分类和回归树（Classification and regression tree, CART），通过选择训练样本和在树的每个节点上选择变量的两种随机方法生成了许多独立的树，以达到最终的决策。这种随机性减轻了CART的典型弊端，例如过拟合问题和对训练样本配置的敏感性。随机森林法的另一个优点为仅需要两个超参数（叶子节点数、决策树的数量）来调整其性能。
随机森林是由几个弱学习机器组成的，也就是所谓的“决策树”，它会做出预测。当多棵“树”组成“森林”时，模型的精度和泛化能力得到显著提高。

操作步骤是：首先使用Bootstrap重采样方法从原始数据中随机抽取多个样本，然后对每个Bootstrap样本进行训练和拟合，构建回归树，最后将所有回归树的预测结果平均得到最终结果。

随机森林的构造过程：

1. 假如有N个样本，则有放回的随机选择N个样本(每次随机选择一个样本，然后返回继续选择)。这选择好了的N个样本用来训练一个决策树，作为决策树根节点处的样本。
2. 当每个样本有M个属性时，在决策树的每个节点需要分裂时，随机从这M个属性中选取出m个属性，满足条件m << M。然后从这m个属性中采用某种策略（比如说信息增益）来选择1个属性作为该节点的分裂属性。
3. 决策