什么是RKHS?

什么是RKHS?

RKHS全称叫再生希尔伯特空间(Reproducing kernel Hilbert space). 首先希尔伯特空间$\mathcal{H}$是一个完备的内积空间（完备意味着里面的数列取极限是收敛的），在这个空间里有很多有用的性质，比如说这个空间的内积可以用来构造范数$\Vert x\Vert =\sqrt{(x,x)}$，所以该空间也是赋范空间。

在希尔伯特空间的基础上加上一个叫再生性(reproducing)的性质，那么这个空间就是再生希尔伯特空间。为什么要加个再生性上去呢？因为拥有再生性质的希尔伯特空间，可以证明他的再生核是唯一的，也就是说，只要找到一个再生性的核函数，那么一定对应着一个唯一的希尔伯特空间。如果没有再生性，那么这个核函数可能对应着多个不同的空间。

RKHS空间有3个重要的部分，第一个是Evaluation functional（定义1），他是一个Dirac函数，如果这个函数是连续的那么希尔伯特空间就是再生希尔伯特空间，第二个重要的元素就是再生核，定义3给出了再生核要满足的条件，可以证明，如果一个希尔伯特空间是RKHS当且仅当再生核存在(定理1)。最后就是他的正定性，根据这些性质我们就能自己去构造想要的核函数，而Moore-Aronszajn定理告诉了我们构造的方法。

Definition 1 (Evaluation functional) 设$\mathcal{H}$为函数$f:X\to R$的希尔伯特空间 ，该函数定义在X上，对于固定的$x\in \mathcal{X}$, 映射${\delta }_x:H\to R,{\delta }_x:f\to f(x)$称为点x的(Dirac) evaluation functional

${\delta }_x$作用可以理解为将一个H中的函数的值固定为f(x)：${\delta }_x(f)=f(x)$

Definition 2 (Reproducing kernel Hilbert space, RKHS), 设$\mathcal{H}$为函数$f:X\to R$的希尔伯特空间 ，该函数定义在X上，如果${\delta }_x$是连续的则H为RKHS

Definition 3 reproducing kernel，让$\mathcal{H}$为定义在$\mathcal{X}$上的实数R函数的希尔伯特空间。若函数$k:\mathcal{X}\times \mathcal{X}\to \mathcal{R}$满足下面两个性质则称为$\mathcal{H}$的再生核
1.$\forall x\in \mathcal{X},k(.,x)\in \mathcal{H}$ (可以理解为是映射$k(.,x):\mathcal{X}\to \mathcal{H}$)
2.$\forall x\in \mathcal{X},\forall f\in \mathcal{H},⟨f,k(.,x){⟩}_{\mathcal{H}}=f(x)$

从而有
$$k(x,y)=⟨k(.,x),k(.,y){⟩}_{\mathcal{H}}$$

上面的定义，k(.,x)是X→R的函数 (这里每个x都对应一个不同k的函数), 第二点是再生性质，即两个泛函的内积恰好等于f(x),可以证明，对于空间H而言，满足这些条件的k一定是唯一的，也就是说，我们只要选择一个k，就一定对应着一个再生希尔伯特空间。

Proposition 1 如果存在在再生核k，则它是唯一的
证明：假设存在两个再生核$k_1,k_2$ ，根据定义

$$⟨f,k_1(.,x)-k_2(.,x){⟩}_{\mathcal{H}}=f(x)-f(x)=0,\forall x\in \mathcal{X},\forall f\in \mathcal{H}$$

如果我们设$f=k_1(.,x)-k_2(.,x)$，于是$\Vert k_1(.,x)-k_2(.,x){\Vert }^2=0,\forall x\in \mathcal{X}$,因此$k_1=k_2$

接来下我们证明再生希尔伯特空间当且仅当再生核存在。

Theorem 1 设$\mathcal{H}$为定义在X上的函数$f:X\to R$的再生希尔伯特空间 （如果${\delta }_x$是连续的则H为RKHS）当且仅当存在再生核。

证明：$\Leftarrow$若存在再生核，根据定义$⟨f,k(.,x){⟩}_{\mathcal{H}}=f(x)$,于是

$$\begin{array}{rl}|{\delta }_{x}f|& =|f(x)|\\ & =|⟨f,k(.,x){⟩}_{\mathcal{H}}|\\ & ⩽\Vert f{\Vert }_{\mathcal{H}}\cdot \Vert k(.,x){\Vert }_{\mathcal{H}}\\ & =\Vert f{\Vert }_{\mathcal{H}}\cdot ⟨k(.,x),k(.,x){⟩}_{\mathcal{H}}^{1/2}\\ & =\Vert f{\Vert }_{\mathcal{H}}\cdot k(x,x{)}^{1/2}\end{array}$$

其中不等式来自于Cauchy-Schwarz不等式($|(x,y){|}^2⩽(x,x)\cdot (y,y)\iff |(x,y)|⩽\Vert x\Vert \cdot \Vert y\Vert$)，于是函数${\delta }_x$有界，因此是连续的泛函。
$⟹$这里需要Riesz representation theorem，该定理说明了，任意的映射都存在一个对应的内积:$f(x)=⟨x,y_{{\delta }_x}{⟩}_{\mathcal{H}}$，于是，一定存在$f_{{\delta }_x}\in \mathcal{H}$使得

$${\delta }_x(f)=⟨f,f_{{\delta }_x}{⟩}_{\mathcal{H}},\forall f\in \mathcal{H}$$

又因为根据${\delta }_x$的定义${\delta }_x(f)=f(x)$，于是只要令$k(.,x)=f_{{\delta }_x}$就能构造出k使其满足再生核的性质，即$⟨f,k(.,x){⟩}_{\mathcal{H}}={\delta }_x(f)=f(x)$。
证毕。

Theorem 2 P113, Riesz representation theorem 设X是Hilbert空间，f是X上的线性连续泛函，则存在唯一的$y\in X$使得对任意$x\in X$有$f(x)=(x,y),\Vert f\Vert =\Vert y\Vert$

证明：若f为零泛函时取y=0即可，因此只需证明$y̸=0$时成立。

存在性：若f是X熵的非零线性连续泛函 ，则 M = { x ∣ f ( x ) = 0 } \displaystyle M=\{x|f( x) =0\} M={x∣f(x)=0}是X的闭真子空间，故存在$u\in X\backslash M$ 由投影定理可知存在$u_0\in M$以及M正交的$z\in M^{\perp }$，,使得$z=u-u_0$ 因而$z\in M^{\perp }$且$z̸=0$.
由于 M ∩ M ⊥ = { 0 } \displaystyle M\cap M^{\bot } =\{0\} M∩M⊥={0},因此$f(z)̸=0$. 对于任意的$x\in X$显然$f\left(x-\frac{f(x)}{f(z)}z\right)=0$因此，$x-\frac{f(x)}{f(z)}z\in M$
于是

$$\begin{gathered} ⟨x-\frac{f(x)}{f(z)}z,z⟩=0 \\ ⟹⟨x,z⟩-\frac{f(x)}{f(z)}⟨z,z⟩=0 \end{gathered}$$

因此

$$f(x)=\frac{f(z)}{\Vert z{\Vert }^2}⟨x,z⟩=⟨x,\frac{\overline{f(z)}}{\Vert z{\Vert }^2}z⟩$$

令$y=\frac{\overline{f(z)}}{\Vert z{\Vert }^2}z$，则对任意的$x\in X$都有

$$f(x)=⟨x,y⟩$$

唯一性：假设存在$y^{\prime }\in X$使得$f(x)=⟨x,y^{\prime }⟩,\forall x\in X$，同时又因为$y-y^{\prime }\in X$所以

$$\begin{array}{rl}& f(y-y^{\prime })=⟨y-y^{\prime },y^{\prime }⟩=⟨y-y^{\prime },y⟩\\ ⟹& \Vert y{\Vert }^2-2⟨y,y^{\prime }⟩+\Vert y^{\prime }{\Vert }^2=0\\ ⟹& \Vert y-y^{\prime }{\Vert }^2=0\end{array}$$

因此$y=y^{\prime }$,所以$f(x)=⟨x,y⟩$是唯一的，并且因为$y=\frac{\overline{f(z)}}{\Vert z{\Vert }^2}z$,所以$\Vert y\Vert =\frac{\overline{f(z)}}{\Vert z{\Vert }^2}\Vert z\Vert =\Vert f\Vert$.
证毕。

这个定理告诉我们，在希尔伯特空间中，对于任意的f(x),总能找到一个唯一的内积跟它相等，注意这个结论在一般的内积空间不总是成立的。

接下来我们可以给出kernel的一般定义：

Definition 4 (kernel) 令$\mathcal{X}$为非空集合，如果存在real hilbert space H和映射$\varphi :\mathcal{X}\to \mathcal{H}$使得

$$k(x,y)=⟨\varphi (x),\varphi (y){⟩}_{\mathcal{H}},\forall x,y\in \mathcal{H}$$

则函数$k:\mathcal{X}\times \mathcal{X}\to R$称为kernel

在这里$\varphi :\mathcal{X}\to \mathcal{H}$就是一个feature map特征映射，将X映射到希尔伯特空间H。注意这个定义并没有要求 $\varphi$ 满足再生核的性质，所以这就会出问题，我们发现这个kernel并不是唯一表示一个希尔伯特空间，也就是同一个kernel函数有可能对应多个不同的希尔伯特空间：

例子:我们可以构造两个不同的$\varphi$使得其内积相等。

$$k(x,y)=xy=\left[\begin{array}{cc}\frac{x}{\sqrt{2}}& \frac{x}{\sqrt{2}}\end{array}\right]\left[\begin{array}{c}\frac{y}{\sqrt{2}}\\ \frac{y}{\sqrt{2}}\end{array}\right]$$

显然第一个$k(.,x)=x$,第二个$k(.,x)=\left[\begin{array}{cc}\frac{x}{\sqrt{2}}& \frac{x}{\sqrt{2}}\end{array}\right]$,他们分别属于空间：$\mathcal{H}=R,\mathcal{H}=R^2$
但是，如果$\varphi$满足再生核性质，那么可以证明kernel一定是唯一对应一个RKHS空间的。

最后我们来证明这个核函数的最重要的特征，就是其正定性。

Definition 5 (Positive definite functions) 称一个对称函数$h:\mathcal{X}\times \mathcal{X}\to R$ 为正定的，只要满足$\forall n⩾1,\forall (a_1,...,a_n)\in R^n,\forall (x_1,...,x_n)\in {\mathcal{X}}^n$

$$\sum _{i=1}^n\sum _{j=1}^n{a}_i{a}_{j}h(x_i,x_j)⩾0$$

称函数是严格正定(strictly positive definite)的，如果对于所有不同的$x_i$,等号只有在所有$a_i$等于0的时候才成立。
根据上面的定义，很容易证明就能证明核函数$k(x,y)$是正定的:

$$\begin{array}{rl}\sum _{i=1}^n\sum _{j=1}^n{a}_i{a}_{j}k(x_i,x_j)& =\sum _{i=1}^n\sum _{j=1}^n⟨a_{i}k(\cdot ,x_i),a_{j}k(\cdot ,x_j){⟩}_{\mathcal{H}}\\ & =⟨\sum _{i=1}^n{a}_{i}k(\cdot ,x_i),\sum _{j=1}^n{a}_{j}k(\cdot ,x_j){⟩}_{\mathcal{H}}\\ & =\Vert \sum _{i=1}^n{a}_{i}k(\cdot ,x_i){\Vert }_{\mathcal{H}}^2⩾0\end{array}$$

介绍了上面这么多属性，我们终于可以开始自己构造一个再生希尔伯特空间了。为了得到一个RKHS我们会先构造一个pre-RKHS:${\mathcal{H}}_0$,然后再从pre-RKHS构造出真正的RKHS. pre-RKHS 要满足的两个条件：
1.${\delta }_x$在${\mathcal{H}}_0$是连续的
2. 所有${\mathcal{H}}_0$中收敛到0的柯西列$f_n$同时在范数中收敛到0，即$f_n\to 0⟹\Vert f_n{\Vert }_{{\mathcal{H}}_0}\to 0$

Theorem 3 (Moore-Aronszajn定理) 设$k:\mathcal{X}\times \mathcal{X}\to R$是正定的，一定存在一个唯一的RKHS$\mathcal{H}\subset R^{\mathcal{X}}$其再生核为k。此外，如果空间 H 0 = s p a n [ { k ( ⋅ , x ) } x ∈ X ] \displaystyle \mathcal{H}_{0} =span[\{k( \cdot ,x)\}_{x\in \mathcal{X}}] H0​=span[{k(⋅,x)}x∈X​]赋予其这样的内积:

$$⟨f,g{⟩}_{{\mathcal{H}}_0}=\sum _{i=1}^n\sum _{j=1}^m{\alpha }_i{\beta }_{j}k(x_i,x_j)$$

其中$f=\sum _{i=1}^n{\alpha }_{i}k(\cdot ,x_i),g=\sum _{j=1}^n{\beta }_{j}k(\cdot ,x_j)$,则${\mathcal{H}}_0$是一个有效的RKHS.
证明：首先证明上述内积是合法的内积

$$⟨f,k(\cdot ,x){⟩}_{{\mathcal{H}}_0}=\sum _{i=1}^n{\alpha }_{i}k(x,x_i)=f(x)$$

因此

$$\begin{array}{rl}|{\delta }_x(f)-{\delta }_x(g)|& =|f(x)-g(x)|\\ & =|⟨f,k(\cdot ,x){⟩}_{{\mathcal{H}}_0}-⟨g,k(\cdot ,x){⟩}_{{\mathcal{H}}_0}|\\ & =|⟨f-g,k(\cdot ,x){⟩}_{{\mathcal{H}}_0}|\\ & ⩽\Vert f-g\Vert \Vert k(\cdot ,x)\Vert \\ & =\Vert f-g\Vert k^{1/2}(x,x)\end{array}$$

不等于号来自与cauchy-schwarz不等式($|⟨f,g⟩|⩽\Vert f\Vert \Vert g\Vert$)，从该不等式我们可以得出${\delta }_x$是有界的，因此是连续的，满足了pre-RKHS的第一个条件。

对于任意的$ϵ>0$,现定义柯西列 { f n } \displaystyle \{f_{n}\} {fn​}是收敛到0的。因此 { f n } \displaystyle \{f_{n}\} {fn​}是有界的，所以定义一个A使得$\Vert f_n{\Vert }_{{\mathcal{H}}_0}<A,\forall n\in N$. 于是总能找到一个$N_1\in N,s.t.\Vert f_n-f_m{\Vert }_{{\mathcal{H}}_0}<ϵ/2A,n,m⩾N_1$.记$f_{N_1}=\sum _{i=1}^r{\alpha }_{i}k(\cdot ,x_i)$. 另外，存在$N_2\in N,s.t.n⩾N_2,|f_n(x_i)|<\frac{ϵ}{2r|{\alpha }_i|}$对于$i=1,...,r$成立。 现在考虑$n⩾\max (N_1,N_2)$

$$\begin{array}{rl}\Vert f_n{\Vert }_{{\mathcal{H}}_0}^2& =|⟨f_n-f_{N_1},f_n{⟩}_{{\mathcal{H}}_0}+⟨f_{N_1},f_n{⟩}_{{\mathcal{H}}_0}|\\ & ⩽|⟨f_n-f_{N_1},f_n{⟩}_{{\mathcal{H}}_0}|+|⟨f_{N_1},f_n{⟩}_{{\mathcal{H}}_0}|\\ & ⩽\Vert f_n-f_{N_1}\Vert \Vert f_n\Vert +\sum _{i=1}^r|{\alpha }_i{f}_n(x_i)|\\ & <\frac{ϵ}{2A}A+r\frac{ϵ}{2r|{\alpha }_i|}=ϵ\end{array}$$

因此$\Vert f_n{\Vert }_{{\mathcal{H}}_0}\to 0$.
最后我们证明$\mathcal{H}$上的reproducing kernel是k. 我们可以简单设$f\in \mathcal{H}$,在${\mathcal{H}}_0$的柯西列$f_n$point wise收敛于f于是:

$$\begin{array}{rl}⟨f,k(\cdot ,x){⟩}_{\mathcal{H}}& =\underset{n\to \infty }{\lim }⟨f_n,k(\cdot ,x){⟩}_{{\mathcal{H}}_0}\\ & =\underset{n\to \infty }{\lim }{f}_n(x)\\ & =f(x)\end{array}$$

于是${\mathcal{H}}_0$在$\mathcal{H}$中是稠密的，因此$\mathcal{H}$是包含${\mathcal{H}}_0$的唯一RKHS，且因为$k(\cdot ,x)\in \mathcal{H},\forall x\in X$,所有拥有再生核k的RKHS一定包含${\mathcal{H}}_0$.
证毕。

更多详细内容可以看参考资料。

参考资料

What is an RKHS?
泛函分析讲义 黎永锦 提取码: d9km
再生核希尔伯特空间