【集成学习】Bagging、Boosting、Stacking区别

前言

Bagging

Bagging算法是指每个弱学习器使用相同的算法，根据训练集样本，随机进行有放回的采样，形成T个样本子集，然后训练T个弱学习器，再将T个弱学习器通过集合策略，得到最终的学习器。

 Boosting

Boosting算法是首先从通过给训练集的样本进行初始化权重，进而训练出一个弱学习器1，根据该弱学习的学习误差率来更新训练样本的权重（被错误分类的样本权重变大，被正确分类的样本权重变小），然后基于调整权重后的训练集来训练弱学习器2，如此重复训练直到训练出T个弱学习器，最终将T个若学习器进行整合，得到最终的强学习器。

Stacking

Stacking是一种集成学习的方法，它通过训练集训练（交叉验证方法）出的多个学习器的学习结果作为输入样本，进而再用一个元学习器进行训练和预测，使得它可以有效地结合多个基学习器的优势，最后提高整体的性能。