随机森林

bagging集成原理

bagging主要思想是从总样本中随机抽取一部分样本，训练产生一个分类器，在重复的几次，训练产生n个分类器，当要判断另一个 样本B的分类结果时，b样本输入到模型内对应不同的分类器，如果大部分分类器的结果是假如是A，那么B样本的判断结果就属于A类别

随机森林的构造过程

• 随机森林是一种基于树模型Bagging的优化版本，能够执行回归和分类的任务

• 随机森林的构造过程
  随机的从样本中抽取m个特征样本，训练产生决策树，重复n次产生n个弱的决策树，最后根据n个弱决策树分类器的投票结果，决定数据属于哪一类。

• n个训练决策树的生成规则：

1. 每次抽取是随机且有放回的从训练集中收取数据作为训练样本
2. 每次抽取m个特征样本，n<M (M表示所有样本特征）

• OOB
  每次抽取随机且有放回的样本，那么总有一部分抽不到，抽不到的这部分树就是OOB（out-of-bag）数据，有时也称袋外数据，这部分 数据可用于验证集用于测试模型的性能