【机器学习基础】混合和装袋

融合模型(Aggregation Model)

如果我们已经得到了一些特征或者假设，它们和我们做机器学习的目标有若干的一致性的话，我们可以将这些假设综合起来，让预测效果变得更好，这样的模型被称为融合模型。
融合模型是通过混合(mix)和组合(combine)一些假设的方式，得到更好的预测结果。
下面列举了四种不同的混合组合方式，并给出了数学表示形式：

1. 当有多个假设时，我们选择检验误差最小的假设作为我们最信任的目标函数：
   
2. 我们现在有多个假设，我们可以给每个假设一个投票的权利，综合所有假设的投票结果：
   
3. 现在有多个假设，我们可以根据对于不同假设的信任程度，给予不同假设不同的票数，这种情况综合了前两种情况：
   
4. 如果可以给每个假设指定一个函数作为系数，这个函数说明了在不同的条件下，票数的情况：
   

举例

如果现在有一些比较弱的假设（如下图中，只能进行横轴和纵轴的分类平面），如果我们能将这些弱的分类器组合起来，就可以把数据有效的分隔开，得到一个强的分类器（弱分类器的组合）。

融合模型使得模型的能力更加强大，通过组合弱分类器的形式，类似之前介绍的特征转换的能力；而通过组合和混合，得到了一个泛化能力更强的假设，又类似之前介绍的正则化的作用。所以，融合模型将特征转换和正则化结合起来，一个合理的融合模型，从理论上是可以得到一个很好的假设的。

Blending

用于分类问题的Uniform Blending

这里像上面描述的那样，通过每个假设投票的结果，得到对于每个数据的预测。