Ensemble methods 之 Random Forest（随机森林)

1. 是什么

如前面所说，决策树有时候会出现过拟合（overfit）的问题，越强大的决策树越可能出现过拟合，但是如果几个模型或者一个模型的几个参数组合起来，就很容易弥补这种问题。所以，随机森林就是一种ensemble方法中的bagging方法，用原始数据进行训练至完全分裂最后得到多个决策树，对新的数据的预测就是对所有的决策树取平均值来进行预测。

2. 关键概念

• 采样。样本数量为N，采样数量也为N，但是采取的是有放回的采样（bootstrap）。
• 训练。决策树完全分裂至所有的叶子节点，不做各种形式的剪枝，不必担心过拟合问题。
• 组合算法。训练结束之后，对新数据进行预测的时候，会让新数据在所有得到的M个决策树上进行预测，最后对结果进行平均或者进行投票。最早的算法是投票：每个树对每一类投票，sklearn的算法是对各个树进行了平均取结果。
• 分类和回归。随机森林可以做分类，也可以做回归，但是很显然（实践上也是），做回归有点不靠谱，所以研究随机森林回归意思不大。