bagging集成原理
bagging主要思想是从总样本中随机抽取一部分样本,训练产生一个分类器,在重复的几次,训练产生n个分类器,当要判断另一个 样本B的分类结果时,b样本输入到模型内对应不同的分类器,如果大部分分类器的结果是假如是A,那么B样本的判断结果就属于A类别
随机森林的构造过程
-
随机森林是一种基于树模型Bagging的优化版本,能够执行回归和分类的任务
-
随机森林的构造过程
随机的从样本中抽取m个特征样本,训练产生决策树,重复n次产生n个弱的决策树,最后根据n个弱决策树分类器的投票结果,决定数据属于哪一类。 -
n个训练决策树的生成规则:
- 每次抽取是随机且有放回的从训练集中收取数据作为训练样本
- 每次抽取m个特征样本,n<M (M表示所有样本特征)
- OOB
每次抽取随机且有放回的样本,那么总有一部分抽不到,抽不到的这部分树就是OOB(out-of-bag)数据,有时也称袋外数据,这部分 数据可用于验证集用于测试模型的性能