20 高斯过程 Gaussian Process

本小节我们将进入Gaussian Process 的学习。Gaussian 自然指的就是Gaussian Distribution，而Process 指的就是随机过程。在一维的 Gaussian Distribution 中我们可以令 $p(x)=\mathcal{N}\left(\mu ,{\sigma }^2\right)$ 。如果 对应到高维高斯分布的话，也就是 (Multivariate Gaussian Distribution) 也就是我们通常意义上说的 Gaussian Network，对于任意的 $x\in {\mathbb{R}}^p,$ 有 $p(x)=\mathcal{N}(\mu ,\Sigma ),$ 且 $\Sigma$ 是一个 $p\times p$ 维的向量, $p<+\infty$ 如果是一个无限维的 Gaussian Distribution，那么就是我们今天要讨论的 Gaussian Process 了。首先 我们给出 Gaussian Process 的详细定义， Gaussian Process：定义在连续域上的无限多个高维随机变 量所组成的随机过程。所谓连续域指的就是时间或者空间。下面我们来进行详细的解释。

1 简单介绍

1.1 Gaussian Process 解释

我们假设有一组随机变量 { ξ t } t ∈ T , T \left\{\xi_{t}\right\}_{t \in T}, T {ξt​}t∈T​,T 是一个连续域，如果 $\forall n\in N^{+},$ 都有 $t_1,t_2,\cdots ,t_n\in T,$ 并 且存在一个约束条件 s . t . { ξ t 1 , ξ t 2 , ⋯   , ξ t n } ≜ ξ t 1 ∼ t n ∼ N ( μ t 1 ∼ t n , Σ t 1 ∼ t n ) ∙ s . t .\left\{\xi_{t_{1}}, \xi_{t_{2}}, \cdots, \xi_{t_{n}}\right\} \triangleq \xi_{t_{1} \sim t_{n}} \sim \mathcal{N}\left(\mu_{t_{1} \sim t_{n}}, \Sigma_{t_{1} \sim t_{n}}\right)_{\bullet} s.t.{ξt1​​,ξt2​​,⋯,ξtn​​}≜ξt1​∼tn​​∼N(μt1​∼tn​​,Σt1​∼tn​​)∙​ 那么我们就称 { ξ t } t ∈ T \left\{\xi_{t}\right\}_{t \in T} {ξt​}t∈T​ 是一个 Gaussian Process。那么，我们怎么来通俗的理解这个概念呢？也就是说有一系列在时间上或空间上 连续的点，他们之间分开看都是符合一个高斯分布的，而合起来看则是符合一个多维高斯分布的。也 就是如下图所示的，在五个不同的时刻有 5 个不同的点，之上的随机变量为 { ξ t 1 , ξ t 2 , ξ t 3 , ξ t 4 , ξ t 5 } , \left\{\xi_{t_{1}}, \xi_{t_{2}}, \xi_{t_{3}}, \xi_{t_{4}}, \xi_{t_{5}}\right\}, {ξt1​​,ξt2​​,ξt3​​,ξt4​​,ξt5​​}, 他们分别都符合一个高斯分布。

1.2 Gaussian Process 举例说明

为了帮助大家更好的来理解高斯分布，我们在这里讲一个故事。假如一个人的一生可以活到 100岁，横坐标就为时间 $t,$ 而纵坐标表示的为在这个时间点的表现值。(大概就这样将就的理解一下)。其中， $t\in [0,100],$ 每一个 ${\xi }_t\sim \mathcal{N}\left({\mu }_t,{\sigma }_t\right)$ 。这是什么意思，也就是在每一个时刻这个人的表现值都符合一个独立的高斯分布，也就是在$t$ 时刻他的表现为[0; 100]。
现在，我们做一个假设，假设一个人，当t = 0 的时刻，他的一生就已经确定了，也就是他的每一个时刻的表现值都会符合一个确定的Gaussian Distribution，${\mu }_t$ 和${\sigma }_t^2$都是确定的。假设人可以活很多次，每个点的表现值都是一个高斯分布，那么他每一生都将是不一样的，每过一生都是从高斯过程中的一次采样，如下图所示，

所以， { ξ t 1 , ξ t 2 , ⋯   , ξ t n } , \left\{\xi_{t_{1}}, \xi_{t_{2}}, \cdots, \xi_{t_{n}}\right\}, {ξt1​​,ξt2​​,⋯,ξtn​​}, 本身就是一个高斯分布，他们联合起来也是高斯分布，任何一个采样都 属于高斯分布，我们可以看成是高斯过程(GP)的一个样本。用符号的语言描述就是 $GP(m(t),k(s,t))$ 。其中
$$\begin{array}{c}{m}_t=\mathbb{E}\left[{\xi }_t\right]=\text{ mean function }\\ k(s,t)=\text{ covariancefunction }=\mathbb{E}\left[\left[{\xi }_s-m(s)\right]{\left[{\xi }_t-m(t)\right]}^T\right]\end{array}$$
也就是说，一个高斯过程属于一个多维高斯分布，服从分布的形式为 $\mathcal{N}\left(m_t,k(s,t)\right)$

2 权重空间角度（Weight Space)

Gaussian Process 在这里我们主要讲解的是Gaussian Process Regression。我们从Bayesian Linear Regression 的角度来引出的Gaussian Progress Regression。

2.1 Recall Bayesian Linear Regression

首先，我们需要回顾一下Bayesian Linear Regression。

1. 首先对于一个，参数符合的分布， $p(w|\text{Data})=\mathcal{N}\left(w|{\mu }_w,{\Sigma }_w\right)$ 。其中, ${\mu }_w={\sigma }^{-2}{A}^{-1}{X}^{T}Y$
   ${\Sigma }_w=A^{-1},$ 其中, $A={\sigma }^{-2}{X}^{T}X+{\Sigma }_p^{-1}$ 。从这一步我们就成功的得到了在已知 Data 的情况下，未知 参数的分布形式。
2. 在给定一个新的未知数向量 X*的情况下，我们可以首先利用 noise-free 形式： $f(x)=w^{T}x=$ $x^{T}w,$ 然后再求得 noise 形式： $y=f(x)+ϵ,$ 而 $ϵ\sim \mathcal{N}\left(0,{\sigma }^2\right)$ 。来获得我们想要的 prediction 值。这 样，我们就可以得到：
   $$\begin{array}{c}p\left(f\left(x^{\ast }\right)|\text{Data},x^{\ast }\right)\sim \mathcal{N}\left(x^{\ast T}{\mu }_w,x^{\ast T}{\Sigma }_w{x}^{\ast }\right)\\ p\left(y^{\ast }|\text{Data},x^{\ast }\right)\sim \mathcal{N}\left(x^{\ast T}{\mu }_w,x^{\ast T}{\Sigma }_w{x}^{\ast }+{\sigma }^2\right)\end{array}$$
   但是，问题马上就来了，因为很多时候，我们不能仅仅使用线性分类的方法来解决问题。现实生活中有许多非线性的问题来待我们求解。而一种经常使用的方法，也就是将数据投影到高维空间中来将非线性问题，转换成一个高维空间中的线性可分问题。或者是使用Bayesian Logistics Regression 来进行分类。如果，是将数据投影到高维空间中的话，我们很自然的就想到了Kernel Bayesian Linear Regression。
   那么这个非线性转换可以被我们写成：If $\varphi :x\mapsto z,x\in {\mathbb{R}}^p,x\in {\mathbb{R}}^p,z\in {\mathbb{R}}^q,z=\varphi (x)$

2.2 非线性转换后的表达

数据集被我们描述为 $:X={\left(x_1,x_2,\cdots ,x_N\right)}^T,Y={\left(y_1,y_2,\cdots ,y_N\right)}^T$ 。根据之前我们得到的 Bayesian Linear Regression 结果，我们代入可以得到：
$$f\left(x^{\ast }\right)|X,Y,x^{\ast }\sim \mathcal{N}\left(x^{\ast T}\left({\sigma }^2{A}^{-1}{X}^{T}Y\right),x^{\ast T}{A}^{-1}{x}^{\ast }\right)$$
而其中， $A={\sigma }^{-2}{X}^{T}X+{\Sigma }_p^{-1},$

If $\varphi :x\mapsto z,x\in {\mathbb{R}}^p,x\in {\mathbb{R}}^p,z\in {\mathbb{R}}^q,z=\varphi (x)(\mathrm{q}>\mathrm{p})$ 。这里的$\varphi$ 是一个非线性转换。

我们定义： $\Phi ={\left(\varphi \left(x_1\right),\varphi \left(x_2\right),\cdots ,\varphi \left(x_N\right)\right)}_{N\times q}^T$

$y=x^{T}w$转换之后为： $f(x)=\varphi (x{)}^{T}w。$ 那么
$$p\left(f\left(x^{\ast }\right)|X,Y,x^{\ast }\right)\sim \mathcal{N}\left({\sigma }^{-2}\varphi {\left(x^{\ast }\right)}^T\left(A^{-1}\Phi (X{)}^{T}Y\right),\varphi {\left(x^{\ast }\right)}^T{A}^{-1}\varphi \left(x^{\ast }\right)\right)$$
而其中， $A={\sigma }^{-2}\Phi (X{)}^T\Phi (X)+{\Sigma }_p^{-1}$ 。但是，很快我们又将面临一个新的问题，也就是 $A^{-1}$ 应该 如何计算呢？这里我们就要使用到一个公式为，Woodbury Formula 公式：
$$(A+UCV{)}^{-1}=A^{-1}-A^{-1}U{\left(C^{-1}+V{A}^{-1}U\right)}^{-1}V{A}^{-1}$$
所以，
$$\begin{array}{c}A={\sigma }^{-2}\Phi (X{)}^T\Phi (X)+{\Sigma }_p^{-1}\\ \\ A{\Sigma }_p={\sigma }^{-2}\Phi (X{)}^T\Phi (X){\Sigma }_p+I\\ \\ A{\Sigma }_p\Phi (X{)}^T={\sigma }^{-2}\Phi (X{)}^T\Phi (X){\Sigma }_p\Phi (X{)}^T+\Phi (X{)}^T={\sigma }^{-2}\Phi (X{)}^T\left(K+{\sigma }^{2}I\right)\\ \\ {\sigma }^{-2}{A}^{-1}\Phi (X{)}^T={\Sigma }_p\Phi (X{)}^T{\left(K+{\sigma }^{2}I\right)}^{-1}\end{array}$$
然后，两边同乘一个 $\varphi \left(x^{\ast }\right)$ 和 $Y$ 就可以得到：
$${\sigma }^{-2}\varphi \left(x^{\ast }\right)A^{-1}\Phi (X{)}^{T}Y=\varphi \left(x^{\ast }\right){\Sigma }_p\Phi (X{)}^T{\left(K+{\sigma }^{2}I\right)}^{-1}Y$$
而这个 ${\sigma }^{-2}\varphi \left(x^{\ast }\right)A^{-1}\Phi (X{)}^{T}Y$ 正好就是 $p{\left(f\left(x^{\ast }\right)|X,Y,x^{\ast }\right)}^{\prime }$ 's Expectation 。而这里的 ${\Sigma }_p=p(w)$ 是一个先验 $\sim \mathcal{N}\left(0,{\Sigma }_p\right),$ 而 ${\sigma }^2$ 为先验分布的噪声 $,X^{\ast }$ 是一个 new input $,$ 而 $K=\Phi {\Sigma }_p{\Phi }^T$ 。所以，使用类似的方法我们可以得到， $p\left(f\left(x^{\ast }\right)|X,Y,x^{\ast }\right)$ 's Covarience 为: $\varphi {\left(x^{\ast }\right)}^T{\Sigma }_p\varphi \left(x^{\ast }\right)-\varphi {\left(x^{\ast }\right)}^T{\Sigma }_p\Phi (X{)}^T(K+{{\sigma }^{2}I)}^{-1}\Phi (X){\Sigma }_p\varphi \left(x^{\ast }\right),$ 所以：
$$p\left(f\left(x^{\ast }\right)|X,Y,x^{\ast }\right)\sim \mathcal{N}\left(\varphi \left(x^{\ast }\right){\Sigma }_p\Phi (X{)}^T{\left(K+{\sigma }^{2}I\right)}^{-1}Y,\varphi {\left(x^{\ast }\right)}^T{\Sigma }_p\varphi \left(x^{\ast }\right)-\varphi {\left(x^{\ast }\right)}^T{\Sigma }_p\Phi (X{)}^T{\left(K+{\sigma }^{2}I\right)}^{-1}\Phi (X){\Sigma }_p\varphi \left(x^{\ast }\right)\right)$$

而大家注意观察一下，下面几个等式：
$$\varphi {\left(x^{\ast }\right)}^T{\Sigma }_p{\Phi }^T\varphi {\left(x^{\ast }\right)}^T{\Sigma }_p\varphi \left(x^{\ast }\right)\Phi {\Sigma }_p{\Phi }^T\Phi {\Sigma }_p\varphi \left(x^{\ast }\right)(9)$$
我们再来看看这里的这个 $\Phi$ 是个什么东西？
$${\Phi }_{N\times q}={\left(\varphi \left(x_1\right),\varphi \left(x_2\right),\cdots ,\varphi \left(x_N\right)\right)}_{N\times q}^T$$
所以大家想一想就知道了，公式 (9) 中的四个公式实际上是一个东西，而 $\Phi (X)$ 只不过是将多个向量拼接在了一起而已。而 $K\left(x,x^{\prime }\right)=\varphi (x{)}^T{\Sigma }_p\varphi \left(x^{\prime }\right),x,x^{\prime }$ 是两个不一样的样本，矩阵展开以后，形式都是一样的。那么下一个问题就是 $K\left(x,x^{\prime }\right)$ 是否可以表达为一个 Kernel Function 的形式? 那么, 相关的探究就变得有趣了。

2.3 Kernel Trick

因为 ${\Sigma }_p$ 是一个 positive define matrix，并且它也是 symmetry 的。所以，令 ${\Sigma }_p={\left({\Sigma }_p^{\frac{1}{2}}\right)}^2$ 。那么 我们可以做如下的推导：
$$\begin{array}{rl}K\left(x,x^{\prime }\right)& =\varphi (x{)}^T{\Sigma }_p^{\frac{1}{2}}{\Sigma }_p^{\frac{1}{2}}\varphi \left(x^{\prime }\right)\\ & ={\left({\Sigma }_p^{\frac{1}{2}}\varphi (x)\right)}^T\cdot {\Sigma }_p^{\frac{1}{2}}\varphi (x)\\ & =⟨\phi (x),\phi \left(x^{\prime }\right)⟩\end{array}$$
其中， $\phi (x)={\Sigma }_p^{\frac{1}{2}}\varphi (x)$ 。那么，我们利用 Kernel Trick 可以有效的避免求 $\varphi (X),$ 而是直接通过 $K\left(x,x^{\prime }\right)$ 中包含的高维空间的转化。而Bayesian Linear Regression + Kernel Trick 中就了一个 Non-Linear Transformation inner product。我们就可以将这个转换定义到一个核空间中，避免了直接 来求这个复杂的转化。这也就是 Kernel Trick。 看到了这里，大家很容易会产生一个疑惑，那就是，好像这里的 GPR 并没有和 GP 有一毛钱的关系。而实际上这里的 GPR 有两种不同的思考角度，也就是两种 View，而这两种 View 可以得到 equal result:

1. Weight-Space view，也就是我们这一小节所讲的东西。指的就是那两个等式， $f(x)=\varphi (x{)}^{T}w$ 和 $y=f(x)+{ϵ}_{\circ }$ 在这里我们的研究对象就是 $w,$ 假设 $w$ 的先验，需要求得 $w$ 的后验，所以是从 Weight-Space 的角度分析的。
2. Function-Space view，我们将 $f(x)$ 看成是一个随机变量, $f(x)\sim GP\left(m(x),K\left(x,x^{\prime }\right)\right)$ 。这个我 们会在后面的小节中进行详细的描述，大家就可以看到 GP 的思想在其中的运用了。

而有一句话对GPR 的总结，非常的有意思，Gaussian Process Regress is the extension of Bayesian Linear Regression with kernel trick. 仔细想一想就知道了，我们把逻辑思路理一下，我们想用贝叶斯线性回归来解决非线性的问题，所以我们需要把输入空间投射到一个高维空间中，低维空间中的线性不可分问题将可以转化为高维空间中的线性可分问题。那么，我们就需要一个转换函数来完成这个工作，但是这个转换函数怎么求？有可能会很难求，而且维度很高。那么，我们就不求了，直接使用核技巧，也就是两个向量的内积等于一个核函数的值就可以了。这大概就是本节中Weight-Space View 的一个主线的思路。

3 权重空间到函数空间

在上一小节中，我们从Weight-Space View 来看Gaussian Process Regression，好像和Gaussian Process 并没有什么关系。但是这一小节，我们从函数的角度来看就可以看到了。

3.1 Recall Gaussian Process

对于一组随机变量 { ξ t } t ∈ T , T : \left\{\xi_{t}\right\}_{t \in T}, T: {ξt​}t∈T​,T: continuous space or time ${}_{\circ }$ If: ∀ n ∈ N + ( n ≥ 1 ) , Index ⁡ : { t 1 , t 2 , ⋯   , t n } \forall n \in N^{+}(n \geq 1), \operatorname{Index}:\left\{t_{1}, t_{2}, \cdots, t_{n}\right\} ∀n∈N+(n≥1),Index:{t1​,t2​,⋯,tn​}
$\to$ random variable : { ξ t 1 , ξ t 2 , ⋯   , ξ t n } ∘ \left\{\xi_{t_{1}}, \xi_{t_{2}}, \cdots, \xi_{t_{n}}\right\}_{\circ} {ξt1​​,ξt2​​,⋯,ξtn​​}∘​ 令 ξ 1 : n = { ξ t 1 , ξ t 2 , ⋯   , ξ t n } T \xi_{1: n}=\left\{\xi_{t_{1}}, \xi_{t_{2}}, \cdots, \xi_{t_{n}}\right\}^{T} ξ1:n​={ξt1​​,ξt2​​,⋯,ξtn​​}T 。If ${\xi }_{1:n}\sim \mathcal{N}\left({\mu }_{1:n},{\Sigma }_{1:n}\right),$ 那么我们称 { ξ t } t ∈ T \left\{\xi_{t}\right\}_{t \in T} {ξt​}t∈T​ is a Gaussian Distribution ${}_{\text{并且 }},{\xi }_t\sim GP(m(t),k(t,s)),m(t)$ 为 mean function, $k(t,s)$ 为 covariance function。下面我们回到 Weight-Space View 中。

3.2 Weight-Space view to Function-Space view

在这里 $w$ 是一个先验分布， $f(x)$ 是一个随机变量。 $f(x)=\varphi (x{)}^{T}w,y=f(x)+ϵ,ϵ\sim \mathcal{N}\left(0,{\sigma }^2\right)$在 Bayesian 的方法中，对于给定的先验信息 (prior): $w\sim \mathcal{N}\left(0,{\Sigma }_p\right)$ 。因为 $,f(x)=\varphi (x{)}^{T}w,$ 所以可以得到：
$$\begin{array}{rl}{\mathbb{E}}_w[f(x)]& ={\mathbb{E}}_w\left[\varphi (x{)}^{T}w\right]=\varphi (x{)}^T{\mathbb{E}}_w[w]=0\end{array}$$
那么对于 $\forall x,x^{\prime }\in {\mathbb{R}}^p$
$$\begin{array}{rl}\mathrm{cov}\left(f(x),f\left(x^{\prime }\right)\right)& =\mathbb{E}\left[(f(x)-\mathbb{E}[f(x)])\left(f\left(x^{\prime }\right)-\mathbb{E}\left[f\left(x^{\prime }\right)\right]\right)\right]\\ & =\mathbb{E}\left[f(x)f\left(x^{\prime }\right)\right]\\ & =\mathbb{E}\left[\varphi (x{)}^{T}w\varphi {\left(x^{\prime }\right)}^{T}w\right]\\ & =\mathbb{E}\left[\varphi (x{)}^{T}w{w}^T\varphi \left(x^{\prime }\right)\right]\end{array}$$
因为 $\varphi {\left(x^{\prime }\right)}^{T}w$ 的结果是一个实数，所以它的转置就等于它自己。又因为 $w\sim \mathcal{N}\left(0,{\Sigma }_p\right),$ 均值为 0 协方差为 ${\Sigma }_p$ 。并且有 $\mathbb{E}\left[w{w}^T\right]=\mathbb{E}\left[(w-0)\left(w^T-0\right)\right],$ 这个东西不就是协方差矩阵 $\mathrm{cov}(w)={\Sigma }_{p^{}}$。
而 $\varphi (x{)}^T{\Sigma }_p\varphi \left(x^{\prime }\right)$ 是一个 kernel function, 前面我们已经证明过了, $\phi (x)={\Sigma }_p^{\frac{1}{2}}$ 。而 $\varphi (x){\Sigma }_p\varphi \left(x^{\prime }\right)=<\phi (x),\phi \left(x^{\prime }\right)>=K\left(x,x^{\prime }\right)$
推导进行到了这里，我们就知道了 $f(x)$ 的期望为 $0,$ 协方差矩阵为一个核函数 $K\left(x,x^{\prime }\right)$ 。那么我 们是不是惊奇的发现，这个和我们高斯过程的定义： ${\xi }_t\sim GP(m(t),K(t,s)),$ 是多么惊人的相似呼。所以，这里可以启发我们： $f(x)$ 的组成是否可以看成一个 GP，而 { f ( x ) } x ∈ R p \{f(x)\}_{x \in \mathbb{R}^{p}} {f(x)}x∈Rp​。 那么，首先 $f(x)$ 是一个function，而且f(x) 还是一个服从高斯分布的随机变量，$m(t)$ 是一个mean function，$K(t,s)$ 是一个covariance function。为了加深大家的理解，我们做进一步清晰的对比：
{ t ⟶ ξ t , { ξ t } t ∈ T ∼ G P x ⟶ f ( x ) , { f ( x ) } x ∈ R p ∼ G P \left\{\begin{array}{l} t \longrightarrow \xi_{t},\left\{\xi_{t}\right\}_{t \in T} \sim G P \\ \\ x \longrightarrow f(x),\{f(x)\}_{x \in \mathbb{R}^{p}} \sim G P \end{array}\right. ⎩⎨⎧​t⟶ξt​,{ξt​}t∈T​∼GPx⟶f(x),{f(x)}x∈Rp​∼GP​
其实，我这样一对比，就非常的清晰了。在 GPR 的算法中，

1. Weight-Space view 中关注的是 $w,$ 即为：
   $$x^{\ast }\to y^{\ast }p\left(y^{\ast }|\text{ Data },x^{\ast }\right)=\int p\left(y^{\ast }|\text{ Data },x^{\ast },w\right)p(w)dw$$
   又因为 w 本身就是从 Data 中，推导得到的，所以 $p\left(y^{\ast }|\text{Data},x^{\ast },w\right)=p\left(y^{\ast }|x^{\ast },w\right)$
2. Function-Space view 中关注的是 $f(x),$ 即为：
   $$p\left(y^{\ast }|\text{ Data },x^{\ast }\right)=\int p\left(y^{\ast }|f(x),x^{\ast }\right)p(f(x))df(x)$$
   写到了这里，不知道大家有没有y一点感觉了，这里就是把 $f(x)$ 当成了一个随机变量来看的。这 里也就是通过 $f(x)$ 来直接推导出 $y^{\ast }$ 。在 Weight-Space View 中，我们没有明确的提到 GP，但是在 Weight-Space view 中， $f(x)$ 是符合 GP 的，只不过是没有显性的表示出来而已。我们可以用一个不 是很恰当的例子来表述一个，Weight-Space view 就是两个情侣之间，什么都有了，孩子都有了，但是 就是没有领结婚证，那么他们两个之间的关系就会比较复杂。而 Function-Space view 就是两个情侣之 间先领结婚证，在有了孩子，按部就班的来进行，所以他们之间的关系就会比较简单。

3.3 Function-Space View

上一小节中，我们从Weight-Space View 过渡到了Function-Space View，而Weight 指的就是参数。
{ f ( x ) } x ∈ R p ∼ G P ( m ( x ) , K ( x , x ′ ) ) m ( x ) = E [ f ( x ) ] K ( x , x ′ ) = E [ ( f ( x ) − m ( x ) ) ( f ( x ′ ) − m ( x ′ ) ) ] \begin{array}{l} \{f(x)\}_{x \in \mathbb{R}^{p}} \sim G P\left(m(x), K\left(x, x^{\prime}\right)\right) \\ \\ m(x)=\mathbb{E}[f(x)] \quad K\left(x, x^{\prime}\right)=\mathbb{E}\left[(f(x)-m(x))\left(f\left(x^{\prime}\right)-m\left(x^{\prime}\right)\right)\right] \end{array} {f(x)}x∈Rp​∼GP(m(x),K(x,x′))m(x)=E[f(x)]K(x,x′)=E[(f(x)−m(x))(f(x′)−m(x′))]​
Regression 问题被我们描述为：
 Data:  { ( x i , y i ) } i = 1 N , x = ( x 1 , x 2 , ⋯   , x N ) N × p T , Y = ( y 1 , y 2 , ⋯   , y N ) N × 1 ∘ T  又因为  f ( x )  符合一个  \text { Data: }\left\{\left(x_{i}, y_{i}\right)\right\}_{i=1}^{N}, x=\left(x_{1}, x_{2}, \cdots, x_{N}\right)_{N \times p}^{T}, Y=\left(y_{1}, y_{2}, \cdots, y_{N}\right)_{N \times 1^{\circ}}^{T} \text { 又因为 } f(x) \text { 符合一个 }  Data: {(xi​,yi​)}i=1N​,x=(x1​,x2​,⋯,xN​)N×pT​,Y=(y1​,y2​,⋯,yN​)N×1∘T​ 又因为 f(x) 符合一个 
GP, 所以, $f(x)\sim \mathcal{N}\left(\mu (x),K\left(x,x^{\prime }\right)\right)$, 且 $Y=f(x)+ϵ,$ 所以 $Y\sim \mathcal{N}\left(\mu (x),K\left(x,x^{\prime }\right)+{\sigma }^{2}I\right)$ 。那么
给定 new input： $X^{\ast }=\left(x_1^{\ast },x_2^{\ast },\cdots ,x_N^{\ast }\right),$ 我们想要的 Prediction output 为 $Y^{\ast }=f\left(x^{\ast }\right)+{ϵ}_{\circ }$ 那么，我 们可以得到 Y 和 $f\left(x^{\ast }\right)$ 的联合概率密度分布为：
$$\left[\begin{array}{c}Y\\ f\left(x^{\ast }\right)\end{array}\right]\sim \mathcal{N}\left(\left[\begin{array}{c}\mu (x)\\ \mu \left(x^{\ast }\right)\end{array}\right],\left[\begin{array}{cc}K(X,X)+{\sigma }^{2}I& K\left(X,X^{\ast }\right)\\ K\left(X^{\ast },X\right)& K\left(X^{\ast },X^{\ast }\right)\end{array}\right]\right)$$
在这里，我必须要首先列举一下，前面我们曾经提到的更加联合概率密度求边缘概率密度的方法。
已知， $X\sim \mathcal{N}(\mu ,\Sigma )$
$$x=\left[\begin{array}{l}{x}_a\\ x_b\end{array}\right]\mu =\left[\begin{array}{l}{\mu }_a\\ {\mu }_b\end{array}\right]\Sigma =\left[\begin{array}{cc}{\Sigma }_{aa}& {\Sigma }_{ab}\\ {\Sigma }_{ba}& {\Sigma }_{bb}\end{array}\right](8)$$
而我们可以得到：
$$\begin{array}{l}p\left(x_b|x_a\right)\sim \mathcal{N}\left({\mu }_{b|a},{\Sigma }_{b|a}\right)\\ {\mu }_{b|a}={\Sigma }_{ba}{\Sigma }_{aa}^{-1}\left(x_a-{\mu }_a\right)+{\mu }_b\\ {\Sigma }_{b|a}={\Sigma }_{bb}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\Sigma }_{ab}\end{array}(9)$$
我们要求的梅率为 $p\left(f\left(x^{\ast }\right)|Y,X,x^{\ast }\right),$ 就是一个我们要求的条件概率，有的同学可能就会有疑惑
了，不应该是 $p(f(x\ast )|Y)$ 吗？为什么这里可以把 $X,x^{\ast }$ 给忽略掉了? 因为 $X$ 和 $Y$ 相关，因为 $Y=$ $\varphi (X{)}^{T}w+{ϵ}_0$ 而 $|X^{\ast }$ 涵盖在了 $f\left(x^{\ast }\right)$ 中，因为 $f\left(x^{\ast }\right)=\varphi {\left(X^{\ast }\right)}^{T}w$
所以，我们的目标也就是求 $p(f(x\ast )|Y,$ 也就是已知联合樞率分布的情况下求条件概率分布。 我们对比公式 (8) 和公式 (9) 就可以发现 $,Y\to x_a,f\left(x^{\ast }\right)\to x_b,K(X,X)+{\sigma }^{2}I\to {\Sigma }_{aa},K\left(X,X^{\ast }\right)\to$
${\Sigma }_{ba},K(X\ast ,X\ast )\to {\Sigma }_{bb\circ }$ 那么，我们可以令 $p\left(f\left(x^{\ast }\right)|Y,X,x^{\ast }\right)\sim \mathcal{N}\left({\mu }^{\ast },{\Sigma }^{\ast }\right),$ 代入之前获得的公式的结
果我们就可以得到：
$$\begin{array}{l}{\mu }^{\ast }=K\left(X^{\ast },X\right){\left(K(X,X)+{\sigma }^{2}I\right)}^{-1}(Y-\mu (X))+\mu \left(X^{\ast }\right)\\ {\Sigma }^{\ast }=K\left(X^{\ast },X^{\ast }\right)-K\left(X^{\ast },X\right){\left(K(X,X)+{\sigma }^{2}I\right)}^{-1}\end{array}$$
并且, $y\ast =f\left(X^{\ast }\right)+{ϵ}_{\circ }$ 那么 noise-free 的形式可以被我们写完： $p\left(f\left(x^{\ast }\right)|Y,X,x^{\ast }\right)=\mathcal{N}\left({\mu }^{\ast },{\Sigma }^{\ast }\right)$
而 $p\left(f\left(y^{\ast }\right)|Y,X,x^{\ast }\right)=\mathcal{N}\left({\mu }_y^{\ast },{\Sigma }_y^{\ast }\right),$ 而 $y^{\ast }=f\left(X^{\ast }\right)+ϵ,$ 而 ${\mu }_y^{\ast }={\mu }^{\ast },{\Sigma }_y^{\ast }={\Sigma }^{\ast }+{\sigma }^{2}I$
在 Function-Space View 中， $f(x)$ 本身是符合 GP 的，那么我们可以直接写出 Prediction 矩阵, 并将其转化为已知联合概率密度分布求条件概率密度的问题。Function-Space View 和 Weight-Space View 得到的结果是一样的，但是更加的简单。