一致逼近核（Universal Kernels）

可再生核Hilbert空间

给定集合$X$上的函数空间$\mathcal{H}$称为函数Hilbert空间，若其有内积$⟨\cdot ,\cdot {⟩}_{\mathcal{H}}$，且任意$f\in \mathcal{H}$，$\Vert f{\Vert }_{\mathcal{H}}=0\iff (\forall x\in X)f(x)=0$。若$\mathcal{H}$为函数Hilbert空间，并且对$X$上的所有点赋值泛函都关于范数$\Vert \cdot {\Vert }_{\mathcal{H}}$连续，则称此空间为可再生核Hilbert空间（RKHS）。
　　任意RKHS有唯一的核函数（即为$\mathcal{H}$上的点赋值泛函，显然应唯一）$K:X\times X\to \mathbb{C}$，满足
　　性质一
$\bullet \forall x\in X$，$K(x,\cdot )\in \mathcal{H}$
$\bullet \forall x\in X$，$⟨{f,K(x,\cdot )⟩}_{\mathcal{H}}=f(x)$
　　性质二
$\bullet ⟨{K(x,\cdot )⟩,K(y,\cdot )}_{\mathcal{H}}:=K(x,y)$构成内积
∙ H : = s p a n ‾ { K ( x , ⋅ ) } x ∈ X \quad\bullet\quad\mathcal{H}:=\overline{\rm span}\left\{K(x,\cdot)\right\}_{x\in X} ∙H:=span​{ K(x,⋅)}x∈X​

性质一显然为RKHS定义的具体表达，即$X$上全体点赋值泛函全体包含在$\mathcal{H}$中。性质二通过 s p a n ‾ ⊥ { K ( x , ⋅ ) } x ∈ X = { 0 } \overline{\rm span}^\perp\left\{K(x,\cdot)\right\}_{x\in X}=\left\{0\right\} span​⊥{ K(x,⋅)}x∈X​={ 0}证明。若性质二成立，则必然满足性质一，从而得证性质二同时为另一定义。

总而言之，RKHS的上述三定义等价。

核函数

观察定义二之一得，对任意 X : = { x i } i = 1 n ⊂ X \mathcal{X}:=\left\{x_i\right\}_{i=1}^n\subset X X:={ xi​}i=1n​⊂X，$K[\mathcal{X}]:=[K(x_i,x_j){]}_{ij}$必然半正定，而这个当仅当存在另一Hilbert空间$\mathcal{W}$，和映射$\Phi :X\to \mathcal{W}$使得

$$K(x,y)=⟨\Phi (x)⟩,\Phi (y)$$