随机森林原理及实现

一、原理

https://blog.csdn.net/cg896406166/article/details/83796557，解释的非常生动！

1.步骤

对含有N个样本，M个特征的数据集操作。

（1）.首先采样T次，每次从N个样本里有放回的选取n个样本（n=），从得到T个含有均n个样本（不相同）的数据集。再有放回的随机选取这些样本的k个特征。这就是我们第一次得到的森林：有T棵树，每棵树有k个节点（特征）。每棵树利用n个样本对k个特征训练得到模型。（疑问：每棵树的k个特征也不一样吗？）

（2）.我们将剩下的1/3的样本带入（1）中的模型进行测试，求袋外误差，从而得到特征的重要性排列。选取排名靠前的特征，组成了新的森林。（疑问：每棵树的特征是从这一步挑选出的特征里随机抽取吗？每棵树的样本还需要再次抽取吗，仍然为n个？）

（3）.重复第二个步骤进行迭代，不断排除影响较小的特征，得到新的森林，直至特征数减少到指定值m。完成迭代。

（4）.将每次迭代得到的森林再计算套外误差（其实和（2）中的袋外误差一样，都叫oob。这里为了区