RF思想
集成学习的思想将多棵树集成的一种算法,核心:决策树+模型融合。
模型融合
Bagging 思想,可以将弱分类器融合之后形成一个强分类器,融合之后的效果会比最好的弱分类器更好,Boosting也是这样的思想。
Bagging思路
1. 每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本(在训练集中,有些样本可能被多次抽取,而有些样本可能一次也没有被抽取到),共进行k轮,得到k个训练集。
2. k个训练集可以得到k个模型(决策树、感知器)。
3. 分类问题:投票。回归问题:均值。