再生核希尔伯特空间(RKHS)导论—第三部分

注：本博客翻译自此链接。

概要： 在本系列的文章中，我们对Aronszajn在1950年发表的论文中建立的再生核希尔伯特空间(Reproducing Kernel Hilbert Spaces,RKHS)理论[1]进行了总结。
关键字： RKHS; 向量空间

1 内容导入

   在下文中，除非另行说明，我们用$\chi$表示一个任意非空集，用$\mathcal{H}$表示一个基于$\chi$的复值函数希尔伯特空间。因此，$\mathcal{H}$是基于$\chi$的所有复值函数集合(空间)——${\mathbb{R}}^{\chi }$——的子集(子空间)。虽然适用于复值希尔伯特空间的更加普适的理论已经提出，但是为了便于理解，可以先只考虑实值希尔伯特空间。下面提供了一个非空集上的实值希尔伯特空间的示例。

   $\text{示例：}$

   令$\chi =[0,1]$，$\mathcal{H}$为定义在$\chi$上的平方可积实值函数集。也就是说：
H = F = { f ∣ f : [ 0 , 1 ] → R , ∫ 0 1 ∣ f ( x ) ∣ 2 d x &lt; ∞ } . \mathscr{H}=\mathscr{F} =\{f|f: [0,1] \rightarrow \mathbb{R},\int_{0}^{1} \lvert f(x) \rvert^2dx&lt;\infty\}. H=F={f∣f:[0,1]→R,∫01​∣f(x)∣2dx<∞}.

   正如在前一篇的练习2中所暗示的，上面定义的$\mathcal{F}$是希尔伯特空间。回想一下，希尔伯特空间是一个向量空间，它有一个内积运算(另外，它关于由内积导出的范数，即典范范数canonical norm，是完整的)。因此，希尔伯特空间应该具有三个关键运算：从向量空间继承加法运算和数乘运算，内积运算。为了让读者相信F确实是一个希尔伯特空间，我们在$\mathcal{F}$中总结这三个关键运算。下面，把$\mathcal{F}$看作向量空间，把$f,g\in \mathcal{F}$看作向量(虽然它们同时也是函数)。

   1. 加法：对每个$f\in \mathcal{H}$和$g\in \mathcal{H}$，我们可以将元素$(f+g)\in \mathcal{H}$定义为，$(f+g):[0,1]\to \mathbb{R}:(f+g)(x)=f(x)+g(x).$
   2. 数乘：对每个$f\in \mathcal{H}$和$a\in \mathbb{R}$，我们可以将元素$(af)\in \mathcal{H}$定义为，$(af):[0,1]\to \mathbb{R}:(af)(x)=af(x).$
   3. 内积：对每个$f\in \mathcal{H}$和$g\in \mathcal{H}$，$\mathcal{H}$中的内积定义为，
$$⟨f,g{⟩}_{\mathcal{H}}={\int }_0^{1}f(x)g(x)dx.$$

2 核(Kernels)

   在本文中，我们使用术语核(Kernel)标识在任意集合上定义的实值或复值二元函数。对于函数$k:\chi \times \chi \to \mathbb{C}$(或者$\mathbb{R}$，这取决于具体要求)，我们认为术语“基于$\chi$的核”和“基于$\chi \times \chi$的核”是一样的。例如，若$\chi =\mathbb{R},k:\mathbb{R}\times \mathbb{R}\to \mathbb{R}:k(x,y)=xy$是一个实值核。

   现在我们定义再生核(Reproducing Kernel)，这是一种特殊的核。

   $\text{再生核的定义：}$

   设$\chi$是一个非空集，$\mathcal{H}\in {\mathbb{C}}^{\chi }$是一个基于$\chi$的复值函数希尔伯特空间。核$k:\chi \times \chi \to \mathbb{C}$在满足以下2个条件时称作希尔伯特空间$\mathcal{H}$的再生核(reproducing kernel)。

   1. 对每个$x_0\in \chi ,k(y,x_0)$视作属于希尔伯特空间$\mathcal{H}$的$y$的函数.
   2. 再生性：对每个$x_0\in \chi$和$f\in \mathcal{H}$，$f(x_0)=⟨f(\cdot ),k(\cdot ,x_0){⟩}_{\mathcal{H}}$.

   第一条性质很容易理解，因为$k(y,x)$是一个二元函数，当我们把第二个变量固定为$x_0$时就得到了关于第一个变量$y$的一元函数，这个函数的映射关系是从$\chi$到$\mathbb{C}$。第1条性质要求函数$k$在$x_0$为集合$\chi$中任意元素的情况下皆属于希尔伯特空间$\mathcal{H}$。现在我们可以这样理解第2条性质：在$\chi$中任取元素$x_0$，在$\mathcal{H}$中任取元素$f$，从第1条性质我们知道$k(\cdot ,x_0)$一定是空间$\mathcal{H}$中的元素，因此我们可以计算空间$\mathcal{H}$中两个元素——$f$和$k(\cdot ,x_0)$——的内积。第2条性质要求这个内积值(复数)等于$f(x_0)$。

3 求值泛函(Evaluation Functional)

   希尔伯特空间是具有向量空间结构和内积运算的集合。当我们把$\mathcal{H}$看作一个常规集合时，定义从$\mathcal{H}$映射到$\mathbb{C}$的函数没有什么不寻常的。然而，由于$\mathcal{H}$的元素也是函数(function)，所以这有时会比较容易混淆。因此，我们使用泛函(functional)这个术语来指代从$\mathcal{H}$映射到$\mathbb{C}$的函数，即函数的函数(a function of a function)，并且保留函数(function)这个术语来指代$\mathcal{H}$的成员，即从$\chi$映射到$\mathbb{C}$的函数。

   从$\chi$中取元素$x_0$，我们可以把每个$f\in \mathcal{H}$映射到$f(x_0)\in \mathbb{C}$。因为$f$是一个从$\chi$映射到$\mathbb{C}$的函数，所以只有一个$f(x_0)$，因此，映射$f\to f(x_0)$是一个从$\mathcal{H}$到$\mathbb{C}$的函数(或术语“泛函”)，这个函数就称为在$x_0$处的点求值泛函(point evaluation functional)。形式化定义如下所示。

   $\text{点求值泛函(point evaluation functional)的定义：}$
   点$x_0\in \chi$处的点求值泛函$L_x:\mathcal{H}\to \mathbb{C}$定义为$L_x(f):=f(x)$。

4 再生核希尔伯特空间(RKHS)

   我们现在开始研究再生核希尔伯特空间(RKHS)的形式化定义。

   $\text{再生核希尔伯特空间(RKHS)的定义：}$
   非空集$\chi$上的复值函数希尔伯特空间$\mathcal{H}$在以下条件满足时被称为再生核希尔伯特空间：$\forall x\in \chi$，点求值泛函$L_x$是一个有界(等价于连续，continuous)线性算子(bounded linear operator)。

   由于前面已经讨论过所有相关术语，所以上述定义在此处不再赘述。上一篇文章讨论了有界线性算子的定义。注意，两个赋范向量空间之间的线性算子有界当且仅当它是连续的。

   我们接下来陈述并证明以下定理，以便更深入地理解RKHS的概念。

   $\text{定理：}$
   一个希尔伯特空间是再生核希尔伯特空间(RKHS)，当且仅当它有一个再生核(reproducing kernel)。

   $\text{证明：}$
   首先假设$\mathcal{H}$是一个RKHS，把$\mathcal{H}$的对偶空间标记成${\mathcal{H}}^{\ast }$，它由所有由$\mathcal{H}$映射到$\mathbb{C}$的连续线性泛函构成。因为$\mathcal{H}$是一个RKHS，所以对任意$x\in \chi$，$L_x$是空间${\mathcal{H}}^{\ast }$中的元素。因此，根据里斯表示定理(Riesz representation theorem)，任一$L_x$拥有如下形式的唯一表示：

$$L_x(f)=⟨f,k_x{⟩}_{\mathcal{H}}.$$

   其中$k_x\in \mathcal{H}$仅取决于$x$。现在，定义二元函数$k:\chi \times \chi \to \mathbb{C}$为$k(y,x)=k_x(y)$。根据这个定义，$k(y,x)$拥有了再生核的第1条性质，同样$k(y,x)$也拥有第2条性质再生性(reproducing property)是因为

$$f(x)=L_x(f)=⟨f(\cdot ),k(\cdot ,x){⟩}_{\mathcal{H}},$$

   对于$\forall x\in \chi ,f\in \mathcal{H}$成立。因此，$k(y,x)$是$\mathcal{H}$的一个再生核。

   反之，假设希尔伯特空间$\mathcal{H}$存在再生核$k(y,x)$，回想上一篇文章中有界线性算子的定义。注意，$L_x$是从$\mathcal{H}$到$\mathbb{C}$的函数，其中$\mathcal{H}$的范数是由其内积导出的(典范范数)，而$\mathbb{C}$中的范数只是绝对值(absolute value)。

   设$f\in \mathcal{H}$，则：
$$|L_x(f)|=|f(x)|=|⟨f(\cdot ),k(\cdot ,x){⟩}_{\mathcal{H}}|$$

$$⩽\Vert f(\cdot ){\Vert }_{\mathcal{H}}\Vert k(\cdot ,x){\Vert }_{\mathcal{H}}(柯西不等式)$$

$$=\Vert f(\cdot ){\Vert }_{\mathcal{H}}⟨k(\cdot ,x),k(\cdot ,x){⟩}_{\mathcal{H}}^{1/2}$$

$$=\Vert f{\Vert }_{\mathcal{H}}k(x,x{)}^{1/2}(再生核性质2)$$

   因此，从定义上看，对于$\forall x\in \chi$，$L_x$是一个有界线性算子，因此$\mathcal{H}$是一个RKHS。

   对于给定的RKHS，再生核是唯一的。为了证明这种唯一性，我们请读者查阅参考文献[1]。

   众所周知，再生核的特征是正定性。在下一篇文章中，我们将详细讨论正定核和负定核，并说明它们与再生核希尔伯特空间的联系。

5 参考文献

   [1] Aronszajn,N.Theory of Reproducing Kernels.Transactions of the American Mathematical Society,(1950).