Bagging与 Boosting

含义解释：Bagging与 Boosting

Bagging（针对分类）

bagging的每个分类器随机从原始样本中做有放回的采样，然后分别对采样后的样本去训练分类器，最终将这些分类器组合，输出预测结果（最终预测结果：由这些分类器多数投票来决定）。

Boosting

boosting的主要思想是将多个弱分类器组装成一个强分类器。每一轮训练集不变，根据上一轮分类器的结果，将增加错分样本的权重，减少正分样本权重，然后将调整完权重的样本去训练下一个（下一轮）分类器，同时分类器也会有赋值权重（每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重），最终将这些分类器组合，输出预测结果。

Bagging和Boosting两者区别

样本选择

bagging：从原始集中选出的各轮训练集之间是独立的。
boosting：每一轮训练集不变。

样本权重

bagging：样本权重相同,采用Bootstraping（有放回）方法采样。
boosting：样本权重不同，根据上一轮分类结果调整样本权重，错分样本权重大，正分样本权重小。（初始化时权重相同，例如Adaboost算法）

分类器权重

bagging：每个分类器权重一样，最后将这些分类器结果多数投票，输出。
boosting：每个分类器权重不同，（对于分类误差小的分类器会有更大的权重）组合这些分类器，输出。

计算

bagging：各分类器可以并行执行。
boosting：各分类器只能顺序执行，因为需要前一轮分类结果。