树模型(四)：随机森林

1 两个随机

（1）样本有放回随机抽取固定数目
（2）构建决策树时，从M个特征中随机抽取m个(m << M)

2 对Bagging的改进

1）Random forest是选与输入样本的数目相同多的次数（可能一个样本会被选取多次，同时 也会造成一些样本不会被选取到 — 有放回采样），而bagging一般选取比输入样本的数目少的样本
2）bagging是用全部特征来得到分类器器，而Random forest是需要从全部特征中选取其中的一部分来训练得到分类器器；一般Random forest效果比bagging效果好！

3 影响分类效果因素

1）森林中任意两棵树的相关性：相关性越大，错误率越大；
2）森林中每棵树的分类能力：每棵树的分类能力越强，整个森林的错误率越低。

4 袋外误差率

如何选择最优的特征个数m，要解决这个问题，我们主要依据计算得到的袋外错误率oob error（out-of-bag error）。

随机森林有一个重要的优点就是，没有必要对它进行交叉验证或者用一个独立的测试集来获得误差的一个无偏估计。它可以在内部进行评估，也就