机器学习15-Bagging学习方法

知识点十五：Bagging学习方法

Bagging这个单词，是根据Bootstrap Aggregation这个词组创造的一个新词。Bootstrap, 即拔靴带，是指穿长筒靴时用来帮助提靴的一个纽带，位于靴子后面。

统计学上的Bootstrap一般称为自助法，是指从n个训练样本

中随机选取n个，允许重复，生成与原始的训练样本集有些许差异的样本集的方法。像拔靴带那样的,只依靠自己就可以完成穿靴的动作，对于训练样本而言，因为采样后原始的训练样本集得以重新生成，因而可以灵活应用于各种各样的计算，所以就有了Bootstrap学习法这样的名称。另一方面，Aggregation 是聚集、集成的意思。因此,正如其名称所表示的那样,在Bagging学习中，首先经由自助法生成虚拟的训练样本,并对这些样本进行学习。然后，反复重复这一过程、 对得到的多个分类器的输出求平均值。

通过上述方法，就可以从大量略有不同的训练样本集合，得到多个稍微不同的弱分类器，然后再对这些分类器加以统合，就可以得到稳定、可靠的强分类器。

注意：本知识点的理解，请结合知识点七。