Reproducing Kernel Hilbert Space (RKHS)

RKHS-wiki

概

这里对RKHS做一个简单的整理, 之前的理解错得有点离谱了.

主要内容

首先要说明的是, RKHS也是指一种Hilbert空间, 只是其有特殊的性质.

Hilbert空间$\mathcal{H}$, 其中的每个元素$f:\mathcal{X}\to \mathbb{K}$, 并由内积$⟨\cdot ,\cdot ,{⟩}_{\mathcal{H}}$建立联系. 我们考虑如下的线性算子:
$${\delta }_x(f)=f(x).$$
进一步假设${\delta }_x$是有界线性算子, 则根据Riesz表示定理可知, 存在唯一的${\varphi }_x\in \mathcal{H}$,
$$f(x)={\delta }_x(f)=⟨f,{\varphi }_x{⟩}_{\mathcal{H}},$$
此时
$${\delta }_x({\varphi }_y)=⟨{\varphi }_y,{\varphi }_x{⟩}_{\mathcal{H}}.$$

RKHS指的就是每一个${\delta }_x,\forall x\in \mathcal{X}$均为有界线性算子, 换言之,
$$|f(x)-g(x)|=|{\delta }_x(f)-{\delta }_x(g)|\le M_x\Vert f-g{\Vert }_{\mathcal{H}},\forall x\in \mathcal{X}.$$
一般的, RKHS总会和某些特定的kernel $K$联系在一起, 实际上, 对于上述情况:
$$K(x,y):=⟨{\varphi }_x,{\varphi }_y⟩.$$

在什么情况下可以通过$K$确定一个Hilbert 空间?

Moore-Aronszajn 定理: 当$K$对称正定, 则存在唯一的Hilbert空间, 其reproducing kernel是$K$.

proof:

首先通过K构造线性空间 s p a n ( { K ( ⋅ , x ) : x ∈ X } ) \mathrm{span}(\{K(\cdot, x): x \in \mathcal{X}\}) span({K(⋅,x):x∈X}), 再赋予内积
$$⟨K_x,K_y{⟩}_{\mathcal{H}}=K(x,y).$$
其中, 内积的可交换性由K的对称性带来, 内积$(x,x)=0$当且仅当$x=0$由正定性带来.

再令上述内积空间的闭包为
$$\mathcal{H},$$
即包括
$$f=\sum _i{a}_i{K}_{x_i}.$$
显然
$$f(x)=\sum _i{a}_{i}K(x,x_i)=⟨f,K_x{⟩}_{\mathcal{H}}.$$
故
$$|f(x)-g(x)|=|⟨f-g,K_x{⟩}_{\mathcal{H}}|\le \Vert K_x{\Vert }_{\mathcal{H}}\Vert f-g{\Vert }_{\mathcal{H}}.$$
故$\mathcal{H}$是RKHS且其reproducing kernel即为$K$.

倘若还存在别的Hilbert空间$\mathcal{G}$, 那么显然$\mathcal{H}\subset \mathcal{G}$, 只需证明反包含即可. 对于任意的$g\in \mathcal{G}$, 可分解为
$$g=g_{\mathcal{H}}+g_{{\mathcal{H}}^{\perp }},$$

$$g(x)=⟨g,K_x{⟩}_{\mathcal{G}}=⟨g_{\mathcal{H}},K_x{⟩}_{\mathcal{G}}+⟨g_{{\mathcal{H}}^{\perp }},K_x{⟩}_{\mathcal{G}}=⟨g_{\mathcal{H}},K_x{⟩}_{\mathcal{H}}=g_{\mathcal{H}}(x).$$

故$g\in \mathcal{H}$.