机器学习 - 随机森林 Random Forest（学习笔记）

构造出多棵决策树，每个决策树单独执行。每次执行对样本要随机选择，选一定比例的数据（如60%），因为数据样本可能有异常值。对特征选择也随机选择，因为有的特征表达效果不好。最后将结果统一。分类：求众数；回归：求均值。解决决策树泛化能力弱的特点。(可以理解成三个臭皮匠顶过诸葛亮)

每棵树都尽最大程度的生长，并且没有剪枝过程。
一开始我们提到的随机森林中的“随机”就是指的这里的两个随机性。两个随机性的引入对随机森林的分类性能至关重要。由于它们的引入，使得随机森林不容易陷入过拟合，并且具有很好得抗噪能力（比如：对缺省值不敏感）。

总的来说就是随机选择样本数，随机选取特征，随机选择分类器，建立多颗这样的决策树，然后通过这几课决策树来投票，决定数据属于哪一类(投票机制有一票否决制、少数服从多数、加权多数)

随机森林与Bagging相比，在其样本扰动的基础上，增加了属性扰动，泛化性能通过个体学习器之间的差异 度的增加而进一步提升。

随机森林算法可以对特征的重要性进行选择，如通过包外估计法和基于不纯度减少的方法（哪个特征对不纯度减少的贡献越大，那么哪个特征就越重要）

减小特征选择个数m，树的相关性和分类能力也会相应的降低；增大m，两者也会随之增大。所以关键问题是如何选择最优的m（或者是范围），这也是随机森林唯一的一个参数。

Bootstraping：有放回采样

Bagging：有放回采样n个样本一共建立分类器

Bagging是