学习笔记——随机森林

准确地说，随机森林的工作原理如下：

1. 从数据集（表）中随机选择k个特征（列），共m个特征（其中k小于等于m）。然后根据这k个特征建立决策树。
2. 重复n次，这k个特性经过不同随机组合建立起来n棵决策树（或者是数据的不同随机样本，称为自助法样本）。
3. 对每个决策树都传递随机变量来预测结果。存储所有预测的结果（目标），你就可以从n棵决策树中得到n种结果。
4. 计算每个预测目标的得票数再选择模式（最常见的目标变量）。换句话说，将得到高票数的预测目标作为随机森林算法的最终预测。
   针对回归问题，随机森林中的决策树会预测Y的值（输出值）。通过随机森林中所有决策树预测值的平均值计算得出最终预测值。而针对分类问题，随机森林中的每棵决策树会预测最新数据属于哪个分类。最终，哪一分类被选择最多，就预测这个最新数据属于哪一分类。
   例子：詹姆斯要决定在巴黎的一周要去哪些景点。他拜访了一位曾在巴黎住过一年的朋友，问朋友曾去过哪些景点，是否觉得有趣。基于自己的经验，这位朋友会给詹姆斯一些建议。这是典型的决策树算法方法。詹姆斯的朋友根据自己的经验，告诉詹姆斯可以去哪些景点游览。之后，詹姆斯问了很多在巴黎待过的朋友，询问建议，他们推荐了自己去过的景点。然后詹姆斯选择了被推荐次数最多的景点，这就是典型的随机森林算法。因此，随机森林是一种在共拥有m个特征的决策树中随机选择k个特征组成n棵决策树，再选择预测结果模式（如果是回归问题，选择平均值）。

优缺点
优点：
1.可以用来解决分类和回归问题：随机森林可以同时处理分类和数值特征。
2. 抗过拟合能力：通过平均决策树，降低过拟合的风险性。
3. 只有在半数以上的基分类器出现差错时才会做出错误的预测：随机森林非常稳定，即使数据集中出现了一个新的数据点，整个算法也不会受到过多影响，它只会影响到一颗决策树，很难对所有决策树产生影响。
缺点：
1.据观测，如果一些分类/回归问题的训练数据中存在噪音，随机森林中的数据集会出现过拟合的现象。. 比决策树算法更复杂，计算成本更高。
2.由于其本身的复杂性，它们比其他类似的算法需要更多的时间来训练。

参考https://www.zhihu.com/question/64043740/answer/644998828