Bagging
Bagging的策略:
(1)从样本集中重采样(有重复的)选出n个样本;
(2)在所有属性上,对这n个样本建立分类器(ID3、C4.5、C&RT、SVM、Logistic回归等);
(3)重复以上两步m次,即获得了m个分类器;
(4)将数据放在这m个分类器上,最后根据这m个分类器的投票结果,决定数据属于哪一类。
随机森林
随机森林在bagging基础上做了修改。基本思路是:
(1)从样本集中用Bootstrap采样选出n个样本(重采样);
(2)从所有属性中随机选择k个属性,选择最佳分割属性作为节点建立C&RT决策树;
(3)重复以上两步m次,即建立了m棵C&RT决策树
(4)这m个C&RT形成随机森林,通过投票表决结果,决定数据属于哪一类
随机森林/Bagging和决策树的关系
当然可以使用决策树作为基本分类器,但也可以使用SVM、Logistic回归等其它分类器,习惯上,这些分类器组成的“总分类器”,仍然叫做随机森林。
另外,回归问题,其实可以使用Bagging策略,拟合变化曲线。
算法过程:①做n次bootstrap,每次得到的数据Di,Di的长度为N;②对于每一个Di,使用局部回归拟合一条曲线;③将这些曲线取平均,即得到最终的拟合曲线;④显然,最终的拟合曲线更加稳定,并且可以避免过拟合现象。