RKHS:再生希尔伯特空间简介

RKHS的定义

Def1(Evaluation function) 令 $\mathcal{H}$ 是一个 Hilbert 空间，$\mathcal{X}$ 是一个非空集合， $f:\mathcal{X}\to \mathbb{R}$ 是定义在 $\mathcal{H}$ 上的线性泛函。 对于任意的 $x\in \mathcal{X},$ 定义映射 ${\delta }_x:\mathcal{H}\to \mathbb{R},$ ${\delta }_x:f\mapsto f(x)$ 为在 $x$ 点的 Evaluation function。
显然， ${\delta }_x$ 是线性的。 那么 ${\delta }_x$ 是否是有界（连续）的呢？ 事实上， ${\delta }_x$ 的有界性关乎 RKHS 的定义。
Def2(Reproducing Kernel Hilbert Space) $\mathcal{H}$ 是一个 Hilbert 空间， 其元素为 $f:\mathcal{X}\to \mathbb{R}$ 。 若 ${\delta }_x$ 是连续的, 我们称 $\mathcal{H}$ 是一个 RKHS。
上述定义并没有将 RKHS 与 Kernel 联系起来， 接下来， 我们将利用 kernel 来定义 RKHS。
Def3(Reproducing Kernel) $\mathcal{H}$ 是一个 Hilbert 空间， 其元素为 $f:\mathcal{X}\to \mathbb{R}$ 。函数 $k:\mathcal{X}\times \mathcal{X}\to \mathbb{R}$ 被称作 $\mathcal{H}$ 的 kernel 如果下式成立：

• $\forall x\in \mathcal{X},k(\cdot ,x)\in \mathcal{H};$
• $\forall x\in \mathcal{X},\forall f\in \mathcal{H},⟨f,k(\cdot ,x){⟩}_{\mathcal{H}}=f(x),$ (the reproducing property).

有上述定义我们立得， $\forall x,y\in \mathcal{X},k(x,y)=⟨k(\cdot ,x),k(\cdot ,y){⟩}_{\mathcal{H}}$。 上述定义产生了一系列的问题，比如这样的Kernel是否存在唯一？如果存在唯一，那么它有什么性质呢？上述两种定义方式是否等价？ 接下来我们便回答这一系列的问题。

RKHS的性质

首先，如果 Kernel 存在， 那么它一定是唯一的。 事实上， 若 $\mathcal{H}$ 有两个 Kernels, 那么有 $$⟨f,k_1(\cdot ,x)-k_2(\cdot ,x){⟩}_{\mathcal{H}}=f(x)-f(x)=0,\forall f\in \mathcal{H},\forall x\in \mathcal{X}.$$特别地， 我们取 $f=k_1(\cdot ,x)-k_2(\cdot ,x)$， 便可得其唯一性。 而存在性我们可以利用 Riesz 表示定理得到。
Th(Existence of the reproducing kernel) $\mathcal{H}$ 是一个 RKHS 当且仅当 $H$ 有一个再生核（Reproducing Kernel）。
Proof: 若 $\mathcal{H}$ 有一个再生核 $k$， 则 $⟨f,k(\cdot ,x){⟩}_{\mathcal{H}}=f(x)$。 由此可得，
$$\begin{array}{rl}|{\delta }_{x}f|& =|f(x)|\\ & =|⟨f,k(\cdot ,x){⟩}_{\mathcal{H}}|\\ & \le \Vert f{\Vert }_{\mathcal{H}}\cdot \Vert k(\cdot ,x){\Vert }_{\mathcal{H}}\\ & =k(x,x{)}^{\frac{1}{2}}\Vert f{\Vert }_{\mathcal{H}}\end{array}$$ 即 ${\delta }_x$ 是有界的， $\mathcal{H}$ 是一个 RKHS.
反过来， 若 $\mathcal{H}$ 是一个 RKHS, 则 ${\delta }_x\in {\mathcal{H}}^{\prime }$ 是有界的。 由 Riesz 表示定理有存在一个元素 $f_{{\delta }_x}\in \mathcal{H}$ 使得
$${\delta }_{x}f=⟨f,f_{{\delta }_x}{⟩}_{\mathcal{H}},\forall f\in \mathcal{H}.$$定义 $k(x^{\prime },x)=f_{{\delta }_x}(x^{\prime }),$ 验证两条性质即可。
那么，所谓的 Kernel 到底有什么形式呢？ 给定一个 Kernel, 其对应的 RKHS 具体有什么形式呢？ 首先我们给出一个引理：
Lemma: 再生核都是对称正定的。
Proof: $k(x,y)=⟨k(\cdot ,x),k(\cdot ,y)⟩,$ 令 $\varphi :x\mapsto k(\cdot ,x)$, 则有$$\sum _{i=1}^n\sum _{j=1}^n{a}_i{a}_{j}k(x_i,x_j)=⟨\sum _{i=1}^n{a}_i\varphi (x_i),\sum _{j=1}^n{a}_j\varphi (x_j)⟩\ge 0.$$我们给出对于任意一个正定核对应的RKHS的具体形式：

• $k:\mathcal{X}\times \mathcal{X}\to \mathbb{R}$ 是一个正定核， 定义 H 0 = [ { k ( ⋅ , x ) } x ∈ X ] \mathcal{H}_0=[\{k(\cdot,x)\}_{x\in\mathcal{X}}] H0​=[{k(⋅,x)}x∈X​] 其装备范数 $⟨f,g{⟩}_{{\mathcal{H}}_0}={\sum }_{i=1}^n{\sum }_{j=1}^m{\alpha }_i{\beta }_{j}k(y_j,x_i),$ 其中 $f={\sum }_{i=1}^n{\alpha }_{i}k(\cdot ,x_i),g={\sum }_{j=1}^m{\beta }_{j}k(\cdot ,y_j).$
• ${\mathcal{H}}_0$ 上的Evaluation function 是连续的，并且 ${\mathcal{H}}_0$ 中任意收敛到0的Cauchy列依范数收敛,i.e., $f_n\in {\mathcal{H}}_0,f_n\to 0(pointwise)\Rightarrow \Vert f_n{\Vert }_{{\mathcal{H}}_0}\to 0.$
• 定义 H = { f : ∃ f n ∈ H 0 , s . t . f n → f ( p o i n t w i s e , H 0 ) } . \mathcal{H}=\{f:\exists f_n\in\mathcal{H}_0,s.t. f_n\to f(pointwise, \mathcal{H}_0)\}. H={f:∃fn​∈H0​,s.t.fn​→f(pointwise,H0​)}.
• 定义内积 $$⟨f,g{⟩}_{\mathcal{H}}=\underset{n\to \infty }{\lim }⟨f_n,g_n{⟩}_{{\mathcal{H}}_0},$$ 有 $⟨\cdot ,\cdot {⟩}_{\mathcal{H}}$ 是 well-defined 和内积。
• ${\mathcal{H}}_0$ 在 $\mathcal{H}$ 中稠密且 $\mathcal{H}$ 上的 Evaluation function 是连续的；另外有 $\mathcal{H}$ 是完备的。

至此，我们便得到 $k(\cdot ,x)$ 对应的 RKHS ---- $\mathcal{H}$。 上述定理也被称作 Moore-Aronszajn Theorem。

Th(Sum of RKHSs) $k_1,k_2\in {\mathbb{R}}_{+}^{\mathcal{X}\times \mathcal{X}}$ (再生核)， 令 $k=k_1+k_2$, 则 H k = H k 1 + H k 2 = { f 1 + f 2 : f 1 ∈ H k 1 , f 2 ∈ H k 2 } , \mathcal{H}_k=\mathcal{H}_{k_1}+\mathcal{H}_{k_2}=\{f_1+f_2:f_1\in\mathcal{H}_{k_1},f_2\in\mathcal{H}_{k_2}\}, Hk​=Hk1​​+Hk2​​={f1​+f2​:f1​∈Hk1​​,f2​∈Hk2​​}, ∥ f ∥ H k 2 = min ⁡ f 1 + f 2 = f { ∥ f 1 ∥ H k 1 2 + ∥ f 2 ∥ H k 2 2 } . \Vert f\Vert ^2_{\mathcal{H}_k}=\min\limits_{f_1+f_2=f}\{\Vert f_1\Vert^2_{\mathcal{H}_{k_1}}+\Vert f_2\Vert^2_{\mathcal{H}_{k_2}}\}. ∥f∥Hk​2​=f1​+f2​=fmin​{∥f1​∥Hk1​​2​+∥f2​∥Hk2​​2​}.
Th(Product of kernels) $k_1,k_2$ 分别是 $\mathcal{X},\mathcal{Y}$ 上的 kernel, 则 $$k((x,y),(x^{\prime },y^{\prime })):=k_1(x,x^{\prime })k_2(y,y^{\prime })$$ 是 $\mathcal{X}\times \mathcal{Y}$上的 kernel 。

RKHS与 $L^2$ 的关系

我们先给出泛函中紧算子的谱分解定理：
Th(Spectral theorem) $\mathcal{F}$ 是一个 Hilbert 空间， $T:\mathcal{F}\to \mathcal{F}$ 是一个紧算子，那么存在至多可数个正交基 { e j } j ∈ J ∈ F \{e_j\}_{j\in J}\in \mathcal{F} {ej​}j∈J​∈F 和 { λ j } j ∈ J \{\lambda_j\}_{j\in J} {λj​}j∈J​ 满足 $|{\lambda }_1|\ge |{\lambda }_2|\ge \cdots \ge 0$ 使得$$Tf=\sum _{j\in J}{\lambda }_j⟨f,e_j{⟩}_{\mathcal{F}},\forall f\in \mathcal{F}.$$
Def(Intergral Operator) 令 $k$ 是一个定义在紧度量空间 $\mathcal{X}$ 上的连续核， $\nu$ 是 $\mathcal{X}$ 上的有限 Borel 测度， $S_k:L^2(\mathcal{X},\mu )\to C(\mathcal{X}),$
$$(S_{k}f)(x)=\int k(x,y)f(y)\nu (dy),f\in L^2(\mathcal{X};\nu ).$$ $T_k=I_k\circ S_k$， 其中 $I_k:C(\mathcal{X})\to L^2(\mathcal{X};\nu )$。 容易证明 $S_{k}f$ 是一个连续函数并且 $T_k$ 是一个紧自伴算子。值得注意的是 $T_{k}f$ 是一个等价类($C(\mathcal{X}\to L^2(\mathcal{X};\nu )$决定了 $\nu -0$ 可变。)
TH(Mercer’s Theorem) $k$ 是紧度量空间 $\mathcal{X}$ 上的连续核， $\nu$ 是 $\mathcal{X}$ 上的有限 Borel 测度， $supp\nu =\mathcal{X}$。 则对任意的 $x,y\in \mathcal{X}$， $$k(x,y)=\sum _{j\in J}{\lambda }_j{e}_j(x)e_j(y).$$
由 Mercer 定理我们可以给出 RKHS 的另一种形式：
TH: $k$ 是紧度量空间 $\mathcal{X}$ 上的连续核， 定义 H = { f = ∑ j ∈ J a j e j : { a j λ j } ∈ ℓ 2 ( J ) } \mathcal{H}=\{f=\sum_{j\in J}a_je_j:\{\frac{a_j}{\sqrt{\lambda_j}}\}\in\ell^2(J)\} H={f=j∈J∑​aj​ej​:{λj​ ​aj​​}∈ℓ2(J)}其内积为$$⟨\sum _{j\in J}{a}_j{e}_j,\sum _{j\in J}{b}_j{e}_j{⟩}_{\mathcal{H}}=\sum _{j\in J}\frac{a_j{b}_j}{{\lambda }_j}.$$则 $\mathcal{H}={\mathcal{H}}_k$。
最后我们将探讨 ${\mathcal{H}}_k$ 与 $L^2(\mathcal{X};\nu )$ 之间的关系。 假定 { e ~ j } j ∈ J \{\tilde{e}_j\}_{j\in J} {e~j​}j∈J​ 是 $L^2(\mathcal{X};\nu )$ 的一组正交基， i.e. $T_k$ 的特征值是严格正的。 记 $\hat{f}(j)=⟨f,{\tilde{e}}_j{⟩}_{L^2}$ 是 $f$ 的 Fourier 系数， 则有之前讨论有 $$T_{k}f=\sum _{j\in J}{\lambda }_j\hat{f}(j){\tilde{e}}_j,f\in L^2(\mathcal{X};\nu ),$$
若果 $T_k=T_k^{\frac{1}{2}}\circ T_k^{\frac{1}{2}},$ 则 $T_k^{1/2}={\sum }_{j\in J}\sqrt{{\lambda }_j}\hat{f}(j){\tilde{e}}_j$ 用 $e_j={\lambda }_j^{-1}{S}_k{\tilde{e}}_j$代入有 ∑ j ∈ J ∣ f ^ ( j ) ∣ 2 = ∥ f ∥ L 2 < ∞ ⇒ { f ^ ( j ) } ∈ ℓ 2 ( J ) ⇒ ∑ j ∈ J λ j f ^ ( j ) e j ∈ H k \sum_{j\in J}|\hat{f}(j)|^2=\Vert f\Vert _{L^2}<\infty \Rightarrow \{\hat{f}(j)\}\in \ell^2(J)\Rightarrow \sum_{j\in J}\sqrt{\lambda_j}\hat{f}(j)e_j \in \mathcal{H}_k j∈J∑​∣f^​(j)∣2=∥f∥L2​<∞⇒{f^​(j)}∈ℓ2(J)⇒j∈J∑​λj​ ​f^​(j)ej​∈Hk​
这说明 $T_k^{1/2}$ 是 $L^2(\mathcal{X};\nu )$ 到 ${\mathcal{H}}_k$ 的同构映射。另外我们知道 ${\lambda }_j\to 0asj\to \infty$, 结合 ${\mathcal{H}}_k={\sum }_{j\in J}{a}_j{e}_j,a_j/\sqrt{{\lambda }_j}\in {\ell }^2(J)$ 知 ${\mathcal{H}}_k$ 比 $L^2(\mathcal{X},\mu )$ “小得多”。

另外， RKHS 还有很多好的性质， 比如可分性、Gaussian RKHS 等， 可查找相关论文进一步了解。