多核学习方法介绍

作者 | Walker

本文为SVM多核学习方法简介的续篇。

通过上篇文章的学习，我们知道，相比于单个核函数，多核模型可以具有更高的灵活性。经过多个核函数映射后的高维空间是由多个特征空间组合而成的组合空间，而显然组合空间可以组合各个子空间不同的特征映射能力，能够将异构数据中的不同特征分量分别通过最合适的单个核函数进行映射，最终使得数据在新的组合空间中能够得到更加准确、合理的表达，进而提高样本数据的分类正确率或预测精度。

 

多核学习方法根据不同的分类标准有不同的分类方式，按照多核函数的构造方法和特点的不同，可以将多核学习方法大致分成三大类别：合成核方法、多尺度核方法、无限核方法。

 

一、合成核方法

把具有不同特性的多个核函数进行组合，就会得到包含各个单核函数的总体特性的多核函数。多核函数形成的方式本身就使得多核函数具有更加准确、更加强大的映射能力或者分类能力，特别是对于实际应用中样本数据具有比较复杂分布结构的分类、回归等学习问题，多核学习的优点非常明显。

 

（1）多核线性组合合成方法

多核线性组合方法是将基本核函数进行线性组合，用表达式可以如下所示描述：

假设变量 x,z ∈X，其中 X 属于 R（n）空间，非线性函数Φ能够实现输入空间 X到特征空间 F 的映射，其中 F ∈R（m），m>>n。假设已知的基本核函数为k (x,z) ，再将其进行归一化为ˆk(x,z)，则可以通过以下方式进行线性组合得到多核函数：

直接求和核其中， 其中 ˆk(x,z) 为第 i 个基本核函数。