融合模型(Aggregation Model)
如果我们已经得到了一些特征或者假设,它们和我们做机器学习的目标有若干的一致性的话,我们可以将这些假设综合起来,让预测效果变得更好,这样的模型被称为融合模型。
融合模型是通过混合(mix)和组合(combine)一些假设的方式,得到更好的预测结果。
下面列举了四种不同的混合组合方式,并给出了数学表示形式:
- 当有多个假设时,我们选择检验误差最小的假设作为我们最信任的目标函数:
- 我们现在有多个假设,我们可以给每个假设一个投票的权利,综合所有假设的投票结果:
- 现在有多个假设,我们可以根据对于不同假设的信任程度,给予不同假设不同的票数,这种情况综合了前两种情况:
- 如果可以给每个假设指定一个函数作为系数,这个函数说明了在不同的条件下,票数的情况:
举例
如果现在有一些比较弱的假设(如下图中,只能进行横轴和纵轴的分类平面),如果我们能将这些弱的分类器组合起来,就可以把数据有效的分隔开,得到一个强的分类器(弱分类器的组合)。
融合模型使得模型的能力更加强大,通过组合弱分类器的形式,类似之前介绍的特征转换的能力;而通过组合和混合,得到了一个泛化能力更强的假设,又类似之前介绍的正则化的作用。所以,融合模型将特征转换和正则化结合起来,一个合理的融合模型,从理论上是可以得到一个很好的假设的。
Blending
用于分类问题的Uniform Blending
这里像上面描述的那样,通过每个假设投票的结果,得到对于每个数据的预测。