bagging method 和random forests 一般都是应用在决策树中。这篇文章只讨论bagging method 和random forests 的区别。
bagging method 的思想: 假设一个数据集L,通过Boostrap(自助抽样)有放回的抽样n次,那么产生了n个样本数据集,记为n个train集。
第一步:我们将这n个train集进行训练,因此产生了n个基分类器,也可以说是n个决策树
第二步:利用这n个基分类器对测试集进行预测,因此会得到n个结果。
第三步:采取多数投票(majorty vote):将n个预测的结果出现频率最高的类作为总体预测。
仔细思考下会出现一些新的问题,如果一个数据集有一个很强的预测变量和一些中等强度的预测变量,那么可以想到,大多数(甚至所有)的树都会将最强的预测变量用