李宏毅ML+DL学习记录:ensemble

1.bagging

        构成bagging的model是比较complex的，即比较容易overfit
        它的思想是：一共有N个样本，做有放回抽样，抽出N个样本，如此重复几次，形成多组样本数同样为N的样本组。然后分别用这几组样本训练出多个分类器，然后把多个分类器的结果做平均（or voting）得到最终的结果。
ps:一般来说，在训练多个分类器的时候，属性也是随机抽取的。比如一共有20个属性，训练每个分类器的时候可能只用到10个（每个分类器的10个属性是随机抽的）

2.boosting

        构成boosting的model是比较简单的，即分类的效果并不好。
        boosting步骤：
        一开始，每个样本的权值（u）都一样，有放回地抽N个，记为resample_1，用resample_1训练出一个分类器f₁(x)，用f₁(x)去对所有N个样本（原本的样本）进行分类，计算error。


        分类正确的样本的权重变成u/d₁,分类错误的样本的权重变成u* d₁.
然后，重复以上步骤。
        最终得到T个分类器，那处理这T个分类器的结果得到最终的结果呢？
        一般采用加权平均的思想，即对T个分类结果进行加权平均，得到最终的分类结果，每个分类器的权重：