【机器学习】Bagging和Boosting（Adaboosting）的区别

Bagging：个体学习器间不存在强依赖关系，可同时生成的并行化方法。

Boosting：个体学习器间存在强依赖关系，不可同时生成的序列化方法。

Bagging

把多个个体学习器集合在一起形成一个更好的学习器。（通常来说是选取数据中部分子集，每个子集采用一种学习器。）

结合策略：把结果重叠到一起，如果回归取平均，如果分类利用投票法。

AdaBoosting:

以最大准确率拟合第一个学习器；

第二个需要修正第一个的错误：筛选出错误并把它们放大；

第三个再修正之前的错误；

重复以上步骤，直到学习器数目达事先指定的值，再将这些学习器进行加权结合

 

 

要获得好的集成：

需要个体学习器具有一定的“准确率”和“多样性”。