bagging和随机森林都是集成学习方法中学习器不存在强依赖关系,并可同时生成的并行化方法
Bagging
全称 Bootstrap aggregating,自助聚合,又称装袋算法。bagging可以减小方差,防止过拟合。
每个基学习器的训练样本只取初始训练样本中的一部分来训练,再对分类任务使用简单投票法,对回归任务使用简单平均法.
随机森林
Random Forest,Bagging的一种变形,基学习器指定为决策树,在训练过程中加入随机属性选择。传统决策树训练过程是选择一个最优属性来进行分类划分,而随机森林是先选取一部分属性,再从中选择最优划分属性,这样会让训练过程更快,计算开销小。
总结
Bagging和随机森林都是集成学习,由多个部分样本训练的基学习器共同投票/平均。随机森林在Bagging基础上加入了随机属性选择,一般来说随机森林的训练效率要优于bagging