随机森林 RF

bagging的代价是不用单棵决策树来做预测，具体哪个变量起到重要作用变得未知，所以bagging改进了预测准确率但损失了解释性。

Bagging与随机森林有什么区别呢？
Bagging 随机有放回抽样。
RF在以决策树为基学习器构建Bagging集成的基础上，进一步在决策树的训练过程中引入随机属性选择。

传统决策树在选择划分属性时是在当前结点的属性集合中选择一个最优属性；而在RF中，基决策树的每个结点，先从该结点的属性集合（假定有d个属性）中随机选择一个包含k个属性的子集，然后再从这个子集中选择一个最优属性用于划分。这里的参数k控制了随机性的引入程度。

https://blog.csdn.net/u012151283/article/details/78104678
http://www.cnblogs.com/maybe2030/p/4585705.html