Inductive Regularized Learning of Kernel Functions

Inductive Regularized Learning of Kernel Functions

尝试用博客记录一下论文翻译。这是2010年发表在NIPS的文章。是《Metric Learning with Multiple Kernels》的参考文献。证明了马氏度量的最优解。

abstract

这篇文章考虑的是半监督核函数学习问题。我们首先提出了学习核矩阵的一般正则化框架，然后证明了我们提出的核矩阵学习框架与一般线性变换学习问题的等价性。结果表明学得的核矩阵将线性变换核函数参数化了，且能应用到新的数据点。此外，我们的结果给出了一种构造性方法来对现有的马氏度量学习公式进行核化。为了使我们的结果适用于大规模数据，我们修正我们的框架以限制优化过程中的参数个数。我们还考虑了半监督环境中的核化归纳降维问题。为此，我们引入了一种新的方法来解决这个问题，通过在特殊的情况下考虑我们的核学习框架，其中我们选择迹范数函数作为正则项。实验表明，我们的框架能学习有效的核函数，在各种领域明显提高K-NN分类精度。此外，我们的核降维技术显著降低了特征空间的维数，同时实现了较好的分类精度。

Learning Framework

给定核函数 $\kappa: \mathbb{R}^{d}\times\mathbb{R}^{d}\rightarrow\mathbb{R}$，以及点集$X=\{x_{1},x_{2},\cdots,x_{n}\}$的一些辅助信息，目标是学习一个对$\kappa$正则化的新的核函数$\kappa_{W}$，它结合了给定的边界信息。初始核函数$\kappa$的形式为$\kappa(x,y)=\phi(x)^{T}\phi(y)$。接下来，我们将$\phi(x_{i})$简写成$\phi_{i}$，也就是映射$\phi$作用到数据点$x_{i}$上，于是得到$\Phi=\{\phi_{1},\phi_{2},\cdots,\phi_{n}\}$。从所提供的辅助信息中学习核函数是一个不适定问题，因为无穷多个这样的核可以满足所提供的监督环境。

适定问题是指定解满足下面三个要求的问题：① 解是存在的；② 解是唯一的；③ 解连续依赖于定解条件，即解是稳定的。这三个要求中，只要有一个不满足，则称之为不适定问题。

一种常见的方法是制定一个直推学习问题，在训练数据上学习一个新的核矩阵。将输入核矩阵写成$K=\Phi^{T}\Phi$，我们的目的是学习一个对$K$正则化了的新的核矩阵$K_{W}$，同时满足给定的辅助信息。所以我们学习如下的优化问题：

$$\begin{equation} \begin{split} &\min\limits_{K_{W}~\succeq~0}f(K^{-1/2}K_{W}K^{-1/2})\\ &s.t.~g_{i}(K_{W})\leq b_{i}~,~1\leq i \leq m . \end{split} %\label{eq1} \end{equation}$$
其中， $f,g_{i}$都是 $\mathbb{R}^{n\times n}\rightarrow\mathbb{R}$的函数。我们将 $f,g_{i}$分别称为正则项和约束项。注意到，如果 $f$ 和 $g_{i}$都是凸函数，那么上述问题可以通过标准凸优化算法优化求解。我们的结果对于无约束变量，及含松弛变量的变量也成立。

一般来说，这样的学习公式是有局限性的，因为学习的核函数不能快速地应用于新的数据点。然而，我们将展示问题(1)与学习线性变换(LT)核函数的等价性。形式上，LT核函数可以写成$\kappa_{W}=\phi(x)^{T}W\phi(x)$，其中W是半正定矩阵。我们可以认为LT的核是线性变换$\phi_{i}\rightarrow W^{1/2}\phi_{i}$。学习LT核函数的一个自然想法是利用辅助信息学习参数矩阵$W$。因此，我们考虑如下问题：

$$\begin{equation} \begin{split} &\min\limits_{W~\succeq~0}~f(W)\\ &s.t.~g_{i}(\Phi^{T} W \Phi)\leq b_{i}~,~1\leq i \leq m . \end{split} \end{equation}$$
从上述问题我们可以观察到两点：①对于通过核函数投影到高维空间的数据，该问题似乎是不可优化的，因为W的大小随着维度的变化呈二次增长。我们将证明不需要具体求解(2)来学习LT核函数。②大多数马氏度量学习方法可以看作是上述框架的特例，我们将在之后的篇幅中讨论他们。

Examples of Regularizers and Constraints