Random Forest

随机森林：集成(ensemble)多棵决策树，以bagging的方式训练，来得到一个更加精确和稳定的预测。

随机森林与决策树的不同：
随机森林是以决策树为基学习器构建的，是多棵不同决策树的bagging组合。
决策树从特征集合中选择一个最优特征（最大信息增益ID3、最大信息增益比C4.5、最小Gini指数）进行分支；而随机森林在随机选取的特征子集里面选择最优特征进行分支。

随机森林的生成过程：

1. 从原始样本中采用有放回抽样的方法选取n个样本；
2. 对n个样本选取a个特征中的随机k个，用建立决策树的方法获得最佳分割点；
3. 重复m次，获得m个决策树；
4. 对输入样例进行预测时，每个子树都产生一个结果，采用多数投票机制输出。

随机性体现：

• 数据集的随机选取：从原始的数据集中采取有放回的抽样（bagging），构造子数据集，子数据集的数据量是和原始数据集相同的。不同子数据集的元素可以重复，同一个子数据集中的元素也可以重复。
• 待选特征的随机选取：与数据集的随机选取类似，随机森林中的子树的每一个分裂过程并未用到所有的待选特征，而是从所有的待选特征中随机选取一定的特征，之后再在随机选取的特征中选取最优的特征。

随机森林的优点：

• 实现简单，训练速度快，泛化能力强，可以并行实现，因为训练时树与树之间是相互独立的；
• 相比单一决策树，能学习到特征之间的相互影响，且不容易过拟合；
• 能处理高维数据（即特征很多），并且不用做特征选择，因为特征子集是随机选取的；
• 对于不平衡的数据集，可以平衡误差；
• 相比SVM，不是很怕特征缺失，因为待选特征也是随机选取；
• 训练完成后可以给出哪些特征比较重要。

随机森林的缺点：

• 在噪声过大的分类和回归问题还是容易过拟合；
• 相比于单一决策树，它的随机性让我们难以对模型进行解释。

References:
[1] [Machine Learning & Algorithm] 随机森林（Random Forest）
https://www.cnblogs.com/maybe2030/p/4585705.html

[2] https://blog.csdn.net/login_sonata/article/details/73929426