机器学习技法笔记7：blending and bagging

7-1 Motivation of Aggregation

7-2 Uniform Blending

1、 那对于我们已经选择的性能较好的一些矩gt，如何将它们进行整合、合并，来 得到最佳的预测模型呢？这个过程称为blending。 最常用的一种方法是uniform blending，应用于 classification分类问题，做法是将每一个可能的g赋予权重1，进行投票，得 到的G(x)表示为：



3、 接下来分析一下uniform blending的原理： 在开始分析之前，我们假设x是固定的，也就是在上面的式子中省略x

从结果上来看，avg(Eout(gt))≥Eout(G)，从而证明了从平均上来说，计算gt 的平均值求得的Eout要比随机选出很多的g最后再求平均值regression效果 更好。

7-3 Linear Blending

1、 上一部分讲的是uniform blending，即每个gt所占的权重都是1，求平均的 思想。下面我们将介绍linear blending，每个gt赋予的权重αt并不相同，其 中αt≥0。我们最终得到的预测结果等于所有gt的线性组合。




4、


5、

7-4 Bagging (Bootstrap Aggregation)

总结一些上面讲的内容，blending的做法就是将已经得到的矩gt进行 aggregate（合并）的操作。具体的aggregation形式包括：uniform，nonuniforn和conditional。接下来介绍bagging。

总结：

在这部分，主要介绍了blending和bagging，7-1介绍了集成学习的两个优点：实现特征转换以及正则化。7-2介绍了uniform blending，也就是所有假设的权重均为1时的blending，7-3介绍了linear blending，此时假设的权重不同，7-3介绍了bagging，核心就是通过bootstrap来得到不同的g在进行合并。而blending用不相交的数据训练不同的 Base Model，这是两者的不同