判别器组合算法——Bagging与随机森林

Bagging

Bagging的策略:

（1）从样本集中重采样（有重复的）选出n个样本；

（2）在所有属性上，对这n个样本建立分类器（ID3、C4.5、C&RT、SVM、Logistic回归等）；

（3）重复以上两步m次，即获得了m个分类器；

（4）将数据放在这m个分类器上，最后根据这m个分类器的投票结果，决定数据属于哪一类。

随机森林

随机森林在bagging基础上做了修改。基本思路是：

（1）从样本集中用Bootstrap采样选出n个样本（重采样）；

（2）从所有属性中随机选择k个属性，选择最佳分割属性作为节点建立C&RT决策树；

（3）重复以上两步m次，即建立了m棵C&RT决策树

（4）这m个C&RT形成随机森林，通过投票表决结果，决定数据属于哪一类

随机森林/Bagging和决策树的关系

    当然可以使用决策树作为基本分类器，但也可以使用SVM、Logistic回归等其它分类器，习惯上，这些分类器组成的“总分类器”，仍然叫做随机森林。

     另外，回归问题，其实可以使用Bagging策略，拟合变化曲线。

     算法过程：①做n次bootstrap，每次得到的数据Di，Di的长度为N；②对于每一个Di，使用局部回归拟合一条曲线；③将这些曲线取平均，即得到最终的拟合曲线；④显然，最终的拟合曲线更加稳定，并且可以避免过拟合现象。