浅谈高斯过程（Gaussian Process）与再生核希尔伯特空间（RKHS）

1. 再生核希尔伯特空间的源头

从一定程度上来说，核技巧（Kernel Trick） 的灵感可以追溯到像XOR问题这样的非线性可分问题。这类问题需要通过将输入数据映射到一个更高维的空间，使得在新空间中可以找到线性分类器。

1.1 背景：XOR问题

XOR问题是一个经典的例子：

XOR问题是一个经典的例子：
－输入是二元值，例如 $(0,0)\to 0$ ，$(0,1)\to 1$ ，$(1,0)\to 1$ ，$(1,1)\to 0$ 。
－在二维平面上，这些点是非线性可分的，没有一条直线能够将两类数据分开。

图1： 异或问题与非线i性映射（图源：[1]）

对这样的问题，如图1所示，可以将样本从原始空间映射到-个更高维的特征空间，使得样本在这个特征空间内线性可分。若将原始的二维空间映射到一个合适的三维空间，就能找到一个合适的划分超平面。

令 $\varphi (\mathbf{x})$ 可以认为是特征向量的基函数扩展，表示将 $\mathbf{x}$ 映射后的特征向量。于是，在特征空间中划分超平面所对应的模型可表示为

$$f(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}\varphi (\mathbf{x})+b$$

其中 $\mathbf{w}$ 和 $b$ 是模型参数．类似式（6．6），有

$$\begin{array}{ll}{\min }_{\mathbf{w},b}& \frac{1}{2}\Vert \mathbf{w}{\Vert }^2\\ \text{ s.t. }& y_i\left({\mathbf{w}}^{\mathrm{T}}\varphi \left({\mathbf{x}}_i\right)+b\right)⩾1,i=1,2,\dots ,m\end{array}$$

其对偶问题是

公式1.1$$\underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi \left({\mathbf{x}}_j\right)$$

$$\begin{array}{ll}\text{ s.t. }& {\sum }_{i=1}^m{\alpha }_i{y}_i=0\\ & {\alpha }_i⩾0,i=1,2,\dots ,m\end{array}$$
求解上式涉及到计算 $\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi \left({\mathbf{x}}_j\right)$ ，这是样本 ${\mathbf{x}}_i$ 与 ${\mathbf{x}}_j$ 映射到特征空间之后的内积。由于特征空间维数可能很高，甚至可能是无穷维，因此直接计算 $\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi \left({\mathbf{x}}_j\right)$ 通常是困难的．为了避开这个障碍，可以设想这样一个函数：

$$\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=⟨\varphi \left({\mathbf{x}}_i\right),\varphi \left({\mathbf{x}}_j\right)⟩=\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi \left({\mathbf{x}}_j\right)$$

即，向量 ${\mathbf{x}}_i$ 与 ${\mathbf{x}}_j$ 在特征空间中的内积等于它们在原始样本空间中通过核函数 $\kappa (\cdot ,\cdot )$ 计算所得的结果。有了这样的核函数，我们就无需直接计算高维甚至可能是无穷维特征空间中的内积，从而大大简化了计算过程，这称为"核技巧" (kernel trick) [1]。$\varphi (x)$则可以称为核基函数/基函数，是核函数的隐式特征表示。对于某些核函数（如线性核或多项式核），核基函数可以显式写出，对于某些核函数（如RBF核），核基函数可能是无穷维的，因此通常不显式构造特征映射，而是直接使用核函数计算。

于是式1.1可重写为

$$\begin{array}{rl}\underset{\mathbf{\alpha }}{\max }& \sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\\ \text{ s.t. }& \sum _{i=1}^m{\alpha }_i{y}_i=0\\ & {\alpha }_i⩾0,i=1,2,\dots ,m\end{array}$$

求解后即可得到

公式1.2
$$\begin{array}{rl}f(\mathbf{x})& ={\mathbf{w}}^{\mathrm{T}}\varphi (\mathbf{x})+b\\ & =\sum _{i=1}^m{\alpha }_i{y}_i\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi (\mathbf{x})+b\\ & =\sum _{i=1}^m{\alpha }_i{y}_i\kappa \left(\mathbf{x},{\mathbf{x}}_i\right)+b.\end{array}$$
这里的函数 $\kappa (\cdot ,\cdot )$ 就是＂核函数＂（kernel function）。式1.2显示出模型最优解可通过训练样本的核函数展开，这一展式亦称＂支持向量展式＂（support vector expansion）．

显然，若已知合适映射 $\varphi (\cdot )$ 的具体形式，则可写出核函数 $\kappa (\cdot ,\cdot )$ ．但在现实任务中我们通常不知道 $\varphi (\cdot )$ 是什么形式。这方面有一些基本的经验，例如对文本数据通常采用线性核，情况不明时可先尝试高斯核 [1]。

1.2 再生核希尔伯特空间RKHS

所有的核函数对应的空间都是再生核希尔伯特空间（RKHS）吗？答案是否定的，核函数的定义如下:
[定理1.1]
（核函数）令 $\mathcal{X}$ 为输入空间，$\kappa (\cdot ,\cdot )$ 是定义在 $\mathcal{X}\times \mathcal{X}$ 上的对称函数，则 $\kappa$ 是核函数当且仅当对于任意数据 D = { x 1 , x 2 , … , x m } D=\left\{x_1, x_2, \ldots, x_m\right\} D={x1​,x2​,…,xm​} ，＂核矩阵＂（kernel matrix）K 总是半正定的：

$$\mathbf{K}=\left[\begin{array}{ccccc}\kappa \left({\mathbf{x}}_1,{\mathbf{x}}_1\right)& \cdots & \kappa \left({\mathbf{x}}_1,{\mathbf{x}}_j\right)& \cdots & \kappa \left({\mathbf{x}}_1,{\mathbf{x}}_m\right)\\ ⋮& \ddots & ⋮& \ddots & ⋮\\ \kappa \left({\mathbf{x}}_i,{\mathbf{x}}_1\right)& \cdots & \kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)& \cdots & \kappa \left({\mathbf{x}}_i,{\mathbf{x}}_m\right)\\ ⋮& \ddots & ⋮& \ddots & ⋮\\ \kappa \left({\mathbf{x}}_m,{\mathbf{x}}_1\right)& \cdots & \kappa \left({\mathbf{x}}_m,{\mathbf{x}}_j\right)& \cdots & \kappa \left({\mathbf{x}}_m,{\mathbf{x}}_m\right)\end{array}\right]$$ [1]

定理1.1表明，只要一个对称函数所对应的核矩阵半正定，它就能作为核函数使用．事实上，对于一个半正定核矩阵，总能找到一个与之对应的映射 $\varphi$ ．换言之，任何一个核函数都隐式地定义了一个称为＂再生核希尔伯特空间＂（Reproducing Kernel Hilbert Space，简称 RKHS）的特征空间．

定理1.1定义了有效的核函数，因此有效的核函数构成的空间是再生核希尔伯特空间。常见的有效的核函数有：

• Gaussian Kernel $$\kappa \left(x,x^{\prime }\right)=\exp \left(-\frac{{\Vert x-x^{\prime }\Vert }^2}{2{\sigma }^2}\right)$$
• Polynomial Kernel $\kappa \left(x,x^{\prime }\right)={\left(x^T{x}^{\prime }+c\right)}^d$
• Linear Kernel $\kappa \left(x,x^{\prime }\right)=x^T{x}^{\prime }$

除了有效的核函数之外，有一些研究尝试放宽核函数的条件，例如允许其核矩阵不是严格的半正定。这些函数在某些上下文中可能被称为“核函数”，但它们对应的不是传统意义上的 RKHS。比如：

• Sigmoid Kernel $\kappa \left(x,x^{\prime }\right)=\tanh \left(\alpha x^T{x}^{\prime }+c\right)$
• Exponential Kernel $\kappa \left(x,x^{\prime }\right)=\exp \left(-\left|x-x^{\prime }\right|\right)$
• Heaviside Step Function $H\left(x,x^{\prime }\right)=1\text{ if }x\ge x^{\prime };0\text{ otherwise }$

1.3 Mercer定理

Mercer定理：
假设 $K$ 是一个连续的，对称的，正定的核函数。则在区间 $[a,b]$ 上的平方可积函数空间 $L^2[a,b]$中，存在一组由算子 $T_K$ 的特征函数组成的正交归一基 { e i } i \left\{e_i\right\}_i {ei​}i​ ，使得相应的特征值序列 { λ j } j \left\{\lambda_j\right\}_j {λj​}j​ 是非负的。
与非零特征值对应的特征函数在区间 $[a,b]$ 上是连续的，核函数 $K$ 可以表示为：

$$K(s,t)=\sum _{j=1}^{\infty }{\lambda }_j{e}_j(s)e_j(t)$$

其中，该级数的收敛是绝对且一致的。

（原文[2]：
Mercer’s theorem:
Suppose $K$ is a continuous symmetric positive-definite kernel. Then there is an orthonormal basis { e i } i \left\{e_{\mathrm{i}}\right\}_i {ei​}i​

of $L^2[a,b]$ consisting of eigenfunctions of $T_K$ such that the corresponding sequence of eigenvalues { λ j } i \left\{\lambda_j\right\}_{i} {λj​}i​ is nonnegative. The eigenfunctions corresponding to non-zero eigenvalues are continuous on $[a,b]$ and $K$ has the representation

$$K(s,t)=\sum _{j=1}^{\infty }{\lambda }_j{e}_j(s)e_j(t)$$

where the convergence is absolute and uniform.）

注意：这里条件是矩阵是正定的，也有一些版本的条件是矩阵为半正定的，如参考文献[3]。

2. 高斯过程（Gaussian Processes, GP）

2.1 定义

一个随机过程 $f(x):x\in \mathcal{X}$ 是一个高斯过程，如果对于任何有限集合$x_1,x_2,\dots ,x_n\subseteq \mathcal{X}$，函数值的集合 $f(x_1),f(x_2),\dots ,f(x_n)$服从多元高斯分布：
$$f(x)\sim \mathcal{G}\mathcal{P}\left(m(x),k\left(x,x^{\prime }\right)\right)$$
其中：

1. 均值函数 $m(x)$ ：定义了函数在每个输入 $x$ 上的期望值，

$$m(x)=\mathbb{E}[f(x)]$$

2. 协方差函数（核函数）$k(x,x^{\prime })$ ：定义了任意两个点 $x,x^{\prime }$ 之间的相关性，
   $$\kappa \left(x,x^{\prime }\right)=\mathbb{E}\left[(f(x)-m(x))\left(f\left(x^{\prime }\right)-m\left(x^{\prime }\right)\right)\right]$$

高斯过程用 $\mathcal{G}\mathcal{P}(m(x),k(x,x^{\prime }))$ 来完全刻画一个随机函数的分布。

2.2 核函数和基函数

2.2.1 核函数

高斯过程的协方差函数叫做核函数，因此核函数 $k(x,x^{\prime })$ 是高斯过程的关键部分，它决定了函数值的光滑性、复杂性和相关性。常用的核函数包括：

1．线性核：

$$k\left(x,x^{\prime }\right)=x^{\top }{x}^{\prime }$$

－描述线性关系。
2．径向基核（RBF 核）：

$$k\left(x,x^{\prime }\right)=\exp \left(-\frac{{\Vert x-x^{\prime }\Vert }^2}{2l^2}\right)$$

－是最常用的核函数之一，定义了平滑函数的相关性。
3．多项式核：

$$k\left(x,x^{\prime }\right)={\left(x^{\top }{x}^{\prime }+c\right)}^d$$

－用于高阶相关性的建模。
4．Matérn 核：

$$k\left(x,x^{\prime }\right)=\frac{2^{1-\nu }}{\Gamma (\nu )}{\left(\frac{\sqrt{2\nu }\Vert x-x^{\prime }\Vert }{l}\right)}^{\nu }{K}_{\nu }\left(\frac{\sqrt{2\nu }\Vert x-x^{\prime }\Vert }{l}\right)$$

－其中 $\nu$ 控制函数的平滑性，$K_{\nu }$是修正的贝塞尔函数。
－是 RBF 核的广义版本。

2.2.2 基函数

高斯过程中的核函数隐式地定义了基函数空间，而不是显式地计算基函数。不同核函数对应不同类型的特征映射：

• 简单核函数（如线性核、多项式核）对应有限维基函数空间。
• 复杂核函数（如 RBF 核、Matérn 核）对应无限维的基函数空间。

另一个角度，如章节1.1所讲，对于高斯过程的基函数，也可以认为是$f(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}\varphi (\mathbf{x})+b$中的$\varphi (\mathbf{x})$。假设高斯过程已知一些列输入${\mathbf{x}}^{\prime }$ （长度为$m$）和对应的输出$f({\mathbf{x}}^{\prime })$，能否把$f(\mathbf{x})$表示为$f(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}\varphi (\mathbf{x})+b$中的$\varphi (\mathbf{x})$的形式呢？答案是可以的。

考虑新的输入序列$\mathbf{x}$（长度为$n$），求解对应的$f(\mathbf{x})$如下：

$$\text{cov}(f(\mathbf{x}),f({\mathbf{x}}^{\prime }))=\left[\begin{array}{ccccc}\kappa \left({\mathbf{x}}_1,{{\mathbf{x}}^{\prime }}_1\right)& \cdots & \kappa \left({\mathbf{x}}_1,{{\mathbf{x}}^{\prime }}_j\right)& \cdots & \kappa \left({\mathbf{x}}_1,{{\mathbf{x}}^{\prime }}_m\right)\\ ⋮& \ddots & ⋮& \ddots & ⋮\\ \kappa \left({\mathbf{x}}_i,{{\mathbf{x}}^{\prime }}_1\right)& \cdots & \kappa \left({\mathbf{x}}_i,{{\mathbf{x}}^{\prime }}_j\right)& \cdots & \kappa \left({\mathbf{x}}_i,{{\mathbf{x}}^{\prime }}_m\right)\\ ⋮& \ddots & ⋮& \ddots & ⋮\\ \kappa \left({\mathbf{x}}_n,{{\mathbf{x}}^{\prime }}_1\right)& \cdots & \kappa \left({\mathbf{x}}_n,{{\mathbf{x}}^{\prime }}_j\right)& \cdots & \kappa \left({\mathbf{x}}_n,{{\mathbf{x}}^{\prime }}_m\right)\end{array}\right]$$

而
$$\text{cov}(f({\mathbf{x}}^{\prime }),f({\mathbf{x}}^{\prime }))=\left[\begin{array}{ccccc}\kappa \left({\mathbf{x}}_1^{\prime },{\mathbf{x}}_1^{\prime }\right)& \cdots & \kappa \left({\mathbf{x}}_1^{\prime },{\mathbf{x}}_j^{\prime }\right)& \cdots & \kappa \left({\mathbf{x}}_1^{\prime },{\mathbf{x}}_m^{\prime }\right)\\ ⋮& \ddots & ⋮& \ddots & ⋮\\ \kappa \left({\mathbf{x}}_i^{\prime },{\mathbf{x}}_1^{\prime }\right)& \cdots & \kappa \left({\mathbf{x}}_i^{\prime },{\mathbf{x}}_j^{\prime }\right)& \cdots & \kappa \left({\mathbf{x}}_i^{\prime },{{\mathbf{x}}^{\prime }}_m\right)\\ ⋮& \ddots & ⋮& \ddots & ⋮\\ \kappa \left({\mathbf{x}}_m^{\prime },{\mathbf{x}}_1^{\prime }\right)& \cdots & \kappa \left({\mathbf{x}}_m^{\prime },{{\mathbf{x}}^{\prime }}_j\right)& \cdots & \kappa \left({\mathbf{x}}_m^{\prime },{{\mathbf{x}}^{\prime }}_m\right)\end{array}\right]+{\sigma }_y^2{\mathbf{I}}_m$$

因此，得到最终结果
公式2.1
$$f(x)=\text{cov}(f(\mathbf{x}),f({\mathbf{x}}^{\prime }))\text{cov}(f({\mathbf{x}}^{\prime }),f({\mathbf{x}}^{\prime }){)}^{-1}f({\mathbf{x}}^{\prime })$$
$$\left[\begin{array}{ccccc}\kappa \left({\mathbf{x}}_1,{{\mathbf{x}}^{\prime }}_1\right)& \cdots & \kappa \left({\mathbf{x}}_1,{{\mathbf{x}}^{\prime }}_j\right)& \cdots & \kappa \left({\mathbf{x}}_1,{{\mathbf{x}}^{\prime }}_m\right)\\ ⋮& \ddots & ⋮& \ddots & ⋮\\ \kappa \left({\mathbf{x}}_i,{{\mathbf{x}}^{\prime }}_1\right)& \cdots & \kappa \left({\mathbf{x}}_i,{{\mathbf{x}}^{\prime }}_j\right)& \cdots & \kappa \left({\mathbf{x}}_i,{{\mathbf{x}}^{\prime }}_m\right)\\ ⋮& \ddots & ⋮& \ddots & ⋮\\ \kappa \left({\mathbf{x}}_n,{{\mathbf{x}}^{\prime }}_1\right)& \cdots & \kappa \left({\mathbf{x}}_n,{{\mathbf{x}}^{\prime }}_j\right)& \cdots & \kappa \left({\mathbf{x}}_n,{{\mathbf{x}}^{\prime }}_m\right)\end{array}\right]\text{cov}(f({\mathbf{x}}^{\prime }),f({\mathbf{x}}^{\prime }){)}^{-1}f({\mathbf{x}}^{\prime })$$
最终可知基函数可以认为是$\kappa (\cdot ,x_i^{\prime }),i=1,2,3,\dots ,m$。笔者认为这里的$\kappa (x_i,\cdot )$，也就是固定了一个变量的核函数，可以认为是一种特殊的基函数。

2.3 从RKHS看高斯过程（主要参考[4]）

2.3.1 背景

2.3.1.1函数的范数

Mercer定理表明，任何正定核函数都可以用特征函数表示为：
$$\kappa \left(\mathbf{x},{\mathbf{x}}^{\prime }\right)=\sum _{i=1}^{\infty }{\lambda }_i{\varphi }_i(\mathbf{x}){\varphi }_i\left({\mathbf{x}}^{\prime }\right)$$
其中，${\varphi }_i$ 组成一个函数空间的正交归一基：
$${\mathcal{H}}_k=\left\{f:f(\mathbf{x})=\sum _{i=1}^{\infty }{f}_i{\varphi }_i(\mathbf{x}),\sum _{i=1}^{\infty }\frac{f_i^2}{{\lambda }_i}<\infty \right\}$$
现在在该空间中，定义两个函数 $f(\mathbf{x})={\sum }_{i=1}^{\infty }{f}_i{\varphi }_i(\mathbf{x})$ 和 $g(\mathbf{x})={\sum }_{i=1}^{\infty }{g}_i{\varphi }_i(\mathbf{x})$ 之间的内积为：
$$⟨f,g{⟩}_{\mathcal{H}}\triangleq \sum _{i=1}^{\infty }\frac{f_i{g}_i}{{\lambda }_i}$$
因此
其中，$\Vert f{\Vert }_H$ 是函数 $f$ 在再生核希尔伯特空间（RKHS）中的范数，定义如下：

$$\Vert f{\Vert }_H=⟨f,f{⟩}_{\mathcal{H}}=\sum _{i=1}^{\infty }\frac{f_i^2}{{\lambda }_i}$$

其中，$f_i$ 是函数 $f$ 在核函数对应的特征函数 $e_i$ 下的投影系数，${\lambda }_i$ 是相应的特征值。

那么实际中如何求得$f_i$呢？其实一般也是根据已有的输入输出对来求，首先回顾表示定理[4]。

2.3.1.2 表示定理（The Representer Theorem）

在其一般形式中，表示定理表述如下：

在一个再生核希尔伯特空间（RKHS）${\mathcal{H}}_k$ 中，对于一个学习问题，我们的目标是最小化以下形式的目标函数：
$$\mathcal{J}(f)=L\left(f\left({\mathbf{x}}_1\right),\dots ,f\left({\mathbf{x}}_N\right)\right)+\lambda \Vert f{\Vert }_{{\mathcal{H}}_k}^2$$
其中：

$L$ 是损失函数，依赖于函数 $f$ 在 $N$ 个训练点 { x i } i = 1 N \left\{\mathbf{x}_i\right\}_{i=1}^N {xi​}i=1N​ 上的取值，$|f{|}_{{\mathcal{H}}_k}$ 是函数 $f$ 在 RKHS 中的范数，
$\lambda >0$ 是正则化参数。
则存在一个最优解 $f^{\ast }\in {\mathcal{H}}_k$，使得最小化 $\mathcal{J}(f)$ 的解总是可以表示为：
$$f^{\ast }(\mathbf{x})=\sum _{i=1}^N{\alpha }_i\kappa \left(\mathbf{x},{\mathbf{x}}_i\right)$$
其中，$\kappa (\cdot ,\cdot )$ 是 RKHS 关联的核函数， { α i } i = 1 N \left\{\alpha_i\right\}_{i=1}^N {αi​}i=1N​是待求的系数。

2.3.1.3 结论

上述定理的形式$f^{\ast }(\mathbf{x})={\sum }_{i=1}^N{\alpha }_i\kappa \left(\mathbf{x},{\mathbf{x}}_i\right)$与高斯过程的结论 2.2.2章节一致。

2.3.2 RKHS的问题

RKHS有一个问题：如果基函数太多，那么$f(\mathbf{x})$就会过于复杂。

2.3.3 解决思路

相对于核而言，复杂的函数将具有较大的范数，因为它们需要许多基函数（特征函数）来表示。我们的目标是选择一个简单的函数，以便很好地拟合数据。

2.3.4 解决方法

我们可以通过将$f(\mathbf{x})$代入表达式：
$$f(\mathbf{x})=\sum _{i=1}^N{\alpha }_i\kappa \left(\mathbf{x},{\mathbf{x}}_i\right)$$

并利用再生性质（reproducing property）来求解参数向量 $\mathbf{\alpha }$ ，从而得到目标函数：
$$J(\mathbf{\alpha })=\frac{1}{2{\sigma }_y^2}|\mathbf{y}-\mathbf{K}\mathbf{\alpha }{|}^2+\frac{1}{2}{\mathbf{\alpha }}^T\mathbf{K}\mathbf{\alpha }$$
其中， $\mathbf{K}$ 是核矩阵， $\mathbf{y}$ 是目标值向量，${\sigma }_y^2$ 是噪声方差， $\mathbf{\alpha }$ 是待求的系数向量。

通过对 $\alpha$ 进行最小化，我们得到：

$$\hat{\mathbf{\alpha }}={\left(\mathbf{K}+{\sigma }_y^2\mathbf{I}\right)}^{-1}\mathbf{y}$$

因此，最优函数估计为：
公式2.2
$$\hat{f}\left({\mathbf{x}}_{\ast }\right)=\sum _i{\hat{\alpha }}_i\kappa \left({\mathbf{x}}_{\ast },{\mathbf{x}}_i\right)={\mathbf{k}}_{\ast }^T{\left(\mathbf{K}+{\sigma }_y^2\mathbf{I}\right)}^{-1}\mathbf{y}$$

2.3.5 结论

公式2.2与公式2.1中高斯过程（GP）预测分布的后验均值形式完全一致。事实上，由于高斯分布的均值和众数是相同的，我们可以看出，带有 RKHS 正则项的线性回归等价于使用 GP 的最大后验 （MAP）估计。

参考文献

[1]: 周志华,机器学习,清华大学出版社
[2]: Wikipedia, “Mercer’s theorem”
[3]: 百度百科: Mercer定理
[4]: Kevin P. Murphy. 2012. Machine Learning: A Probabilistic Perspective. The MIT Press