Bagging与Boosting的区别

Bagging与Boosting的区别：
取样方式（样本权重）：Bagging是均匀选取，样本的权重相等，Boosting根据错误率取样，错误率越大则权重越大
训练集的选择：Bagging随机选择训练集，训练集之间相互独立，Boosting的各轮训练集的选择与前面各轮的学习结果有关
预测函数：Bagging各个预测函数没有权重，可以并行生成，Boosting有权重，顺序生成
Bagging是减少variance，Boosting是减少bias
Bagging 是 Bootstrap Aggregating的简称，意思就是再取样 (Bootstrap) 然后在每个样本上训练出来的模型取平均，所以是降低模型的 variance. Bagging 比如 Random Forest 这种先天并行的算法都有这个效果。
Boosting 则是迭代算法，每一次迭代都根据上一次迭代的预测结果对样本进行加
权，所以随着迭代不不断进行行，误差会越来越小，所以模型的 bias 会不不断降低。这种算
法无法并行。