随机森林小结

划重点：Bagging + 决策树 = 随机森林

1.算法原理：随机森林，是基于bagging的一种并行式集成学习方法，可以用来做分类、回归。随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由基学习器输出的类别的众数而定。
通过自助法（bootstrap）重采样技术，从原始训练样本集N中有放回地重复随机抽取N个样本生成新的训练样本集合，然后根据自助样本集生成k个分类树组成随机森林。
在构造第i棵决策树时，在每个节点随机选择m（通常log2d+1，d是特征数）个特征作为该点划分的候选特征。新数据的分类结果按分类树投票多少形成的分数而定。其实这是对决策树算法的一种改进，将多个决策树合并在一起，每棵树的建立依赖于一个独立抽取的样品。单棵树的分类能力可能很小，但在随机产生大量的决策树后，一个测试样品可以通过每一棵树的分类结果经统计后选择最可能的分类。

（随机森林的构建有两个方面：行采样和列采样——样本的随机选取，以及待选特征的随机选取。

即样本的随机：从样本集中用Bootstrap随机选取n个样本；

特征的随机：从所有属性中随机选取K个属性，选择最佳分割属性作为节点建立CART决策树）</