机器学习技法第七周学习笔记

1.motivation of aggregation

假如我们学习了T个模型，那么我们怎么组合这些模型能得到最好的模型呢？
1.用validation求出其中最好的一个作为我们最终的模型。
2.利用所有的模型进行平均投票。
3.非均匀投票。
4.不同条件下给与不同的投票权重。

第一张图像的详细解释。

仅靠一个模型选择可能效果不如众多模型一起的结果。

上图说明，投票的结果能够使学习结果更好。有点像核函数和正则化的作用。
2.Uniform blending

上面是对二分类和多分类的blending，当多分类时为求出票数最多的种类即是我们所需要的种类。

对于回归，我们需要对求和的结果做平均不然最后的结果超过1.
对于均值投票，当投票者的差异越大时，最后的结果越好，这是为什么呢？

如上图推导所示，单一项的错误等于平均项的错误和所有项的方差，所以所有项的差异越大即方差越大，平均项的错误就越小。

上面两幅图说的意思是一样的。
3.Linear and any blending

4.Bagging