机器学习笔记之高斯过程(三)高斯过程回归——函数空间角度

引言

上一节介绍了从权重空间角度认识高斯过程回归。本节将介绍从函数空间角度认识高斯过程回归。

回顾：高维转换处理非线性回归任务过程

从权重空间(Weight-Space)视角观察高斯过程回归和高斯过程(Gaussian Process)本身没有直接联系。其本质上是 针对非线性回归任务，使用贝叶斯线性回归与核技巧(Kernal Trick)相结合的方式进行求解：

• 针对非线性回归任务，使用非线性转换(Non-Linear Transformation)$\varphi (\cdot )$将原始特征空间$\mathcal{X}\in {\mathbb{R}}^p$映射到高维空间：
  $$\begin{array}{r}\mathcal{X}\in {\mathbb{R}}^p\to \varphi (\mathcal{X})\in {\mathbb{R}}^{q}q\gg p\end{array}$$

• 由于样本特征空间的变化，因而影响随机变量$\mathcal{W}$的后验概率分布$\mathcal{P}(\mathcal{W}\mid Data)$：
  $$\mathcal{P}(\mathcal{W}\mid Data)\sim \mathcal{N}({\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}})\to \{\begin{array}{l}{\mu }_{\mathcal{W}}=\frac{{\mathcal{A}}^{-1}[\varphi (\mathcal{X}){]}^T\mathcal{Y}}{{\sigma }^2}\\ {\Sigma }_{\mathcal{W}}={\mathcal{A}}^{-1}\\ \mathcal{A}=\frac{[\varphi (\mathcal{X}){]}^T\varphi (\mathcal{X})}{{\sigma }^2}+[{\Sigma }_{prior}^{-1}{]}_{q\times q}\end{array}$$

• 从而对经过非线性转换后的给定(未知)样本$\varphi (\hat{x})$的标签$f[\varphi (\hat{x})]$进行预测(Prediction)：

  • 推导过程复杂的部分是${\mathcal{A}}^{-1}$的求解，关于${\mathcal{A}}^{-1}$的求解过程详见上一节.
  • 这里预测的是'不含高斯噪声'的$f[\varphi (\hat{x})]$而不是$\hat{y}$,如果要预测$\hat{y}$需要在协方差中加上${\sigma }^2$.
    $$\begin{array}{rl}\mathcal{P}[f[\varphi (\hat{x})]\mid Data,\varphi (\hat{x})]& \sim \mathcal{N}([\varphi (\hat{x}){]}^T{\mu }_{\mathcal{W}},[\varphi (\hat{x}){]}^T{\Sigma }_{\mathcal{W}}\cdot \varphi (\hat{x}))\\ & =\mathcal{N}\left\{[\varphi (\hat{x}){]}^T\left(\frac{{\mathcal{A}}^{-1}[\varphi (\mathcal{X}){]}^T\mathcal{Y}}{{\sigma }^2}\right),[\varphi (\hat{x}){]}^T{\mathcal{A}}^{-1}\cdot \varphi (\hat{x})\right\}\end{array}$$

  最终展开结果表示如下：
  其中$[{\Sigma }_{prior}{]}_{q\times q}$表示先验分布的协方差矩阵；${\mathcal{I}}_{q\times q}$表示单位矩阵。$\mathcal{K}(\mathcal{X},\mathcal{X}{)}_{q\times q}$表示$[\varphi (\mathcal{X}){]}^T{\Sigma }_{prior}\varphi (\mathcal{X})$.
  $$\begin{gathered} \mathcal{P}[f(\hat{x})\mid Data,\hat{x}]\sim \mathcal{N}({\mu }_{\hat{x}}.{\Sigma }_{\hat{x}}) \\ \{\begin{array}{l}{\mu }_{\hat{x}}=[\varphi (\hat{x}){]}^T{\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T[\mathcal{K}(\mathcal{X},\mathcal{X})+{\sigma }^2\mathcal{I}{]}^{-1}\\ {\Sigma }_{\hat{x}}=[\varphi (\hat{x}){]}^T\cdot \left\{{\Sigma }_{prior}-{\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T{\left[\mathcal{K}(\mathcal{X},\mathcal{X})+{\sigma }^2\mathcal{I}\right]}^{-1}\varphi (\mathcal{X}){\Sigma }_{prior}\right\}\cdot \varphi (\hat{x})\end{array} \end{gathered}$$

• 针对公式中出现的复杂的内积问题，使用核技巧(Kernal Trick)进行处理。假设存在关于变量$x,x^{\prime }$的核函数$\mathcal{K}(x,x^{\prime })$表示如下：
  这里$[{\Sigma }_{prior}{]}_{q\times q}$至少是半正定矩阵。
  $$\begin{array}{rl}\mathcal{K}(x,x^{\prime })& =[\varphi (x){]}^T{\Sigma }_{prior}\varphi (x^{\prime })\\ & ={\left[\sqrt{{\Sigma }_{prior}}\varphi (x)\right]}^T[\sqrt{{\Sigma }_{prior}}\varphi (x^{\prime })]\\ & =⟨\sqrt{{\Sigma }_{prior}}\varphi (x),\sqrt{{\Sigma }_{prior}}\varphi (x^{\prime })⟩\end{array}$$
  与核函数的处理方式相同，直接规避了非线性函数$\varphi (\cdot )$的高维复杂运算。直接对其内积进行求解。

回顾：高斯过程

高斯过程(Gaussian Process)本质上式一组高维随机变量组成的集合：
{ ξ t } t ∈ T = { ⋯   , ξ t 1 , ξ t 2 , ⋯   , ξ t n , ⋯   } ( t 1 , t 2 ⋯   , t n ∈ T ) \{\xi_{t}\}_{t \in \mathcal T} = \{\cdots,\xi_{t_1},\xi_{t_2},\cdots,\xi_{t_n},\cdots\} \quad (t_1,t_2\cdots,t_n \in \mathcal T) {ξt​}t∈T​={⋯,ξt1​​,ξt2​​,⋯,ξtn​​,⋯}(t1​,t2​⋯,tn​∈T)
其中$\mathcal{T}$表示连续域，它可能是时间/空间中的连续域。对于高斯过程的定义可描述为：对于任意 { t 1 , t 2 , ⋯   , t n } ∈ T \{t_1,t_2,\cdots,t_n\} \in \mathcal T {t1​,t2​,⋯,tn​}∈T对应随机过程 { ξ t } t ∈ T \{\xi_t\}_{t \in \mathcal T} {ξt​}t∈T​的子集： ξ t 1 → t n = { ξ t 1 , ξ t 2 , ⋯   , ξ t n } \xi_{t_1 \to t_n} = \{\xi_{t_1},\xi_{t_2},\cdots,\xi_{t_n}\} ξt1​→tn​​={ξt1​​,ξt2​​,⋯,ξtn​​}服从某一高斯分布$\mathcal{N}({\mu }_{t_1\to t_n},{\Sigma }_{t_1\to t_n})$,那么称 { ξ t } t ∈ T \{\xi_{t}\}_{t \in \mathcal T} {ξt​}t∈T​是高斯过程：
由于$t\in \mathcal{T}$是稠密的(可以理解为‘时间间隔无限趋近于0，依然存在随机变量’)，从而可以看作是连续域$\mathcal{T}$内的‘无限维’高斯分布。
{ ξ t } t ∈ T ∼ G P [ m ( t ) , K ( t , s ) ] ( s , t ∈ T ) \{\xi_t\}_{t \in \mathcal T} \sim \mathcal G\mathcal P[m(t),\mathcal K(t,s)] \quad (s,t \in \mathcal T) {ξt​}t∈T​∼GP[m(t),K(t,s)](s,t∈T)
需要注意的是，均值函数(Mean-Function)$m(t)$和 方差函数(Covariance Function)$\mathcal{K}(s,t)$它们均是基于函数形式的表达，这说明：不同时刻/状态下的均值/协方差结果不是固定值，而是表示为关于$s,t$的函数。
$$\mathcal{X}\in {\mathbb{R}}^p\to \mathcal{X}\sim \mathcal{N}({\mu }_p,{\Sigma }_{p\times p})$$

相反，如高斯网络(Gaussian Network)，一旦随机变量集合$\mathcal{X}$确定了，那么对应的概率图模型就是静态模型，对应的期望结果${\mu }_p$和协方差矩阵${\Sigma }_{p\times p}$就是恒定不变的，从概率图的角度观察各随机变量结点之间的关联关系也是确定的。

权重空间视角——模型参数$\mathcal{W}$的变化

基于线性回归模型(无高斯噪声)$f(\mathcal{X})={\mathcal{X}}^T\mathcal{W}$，对特征空间$\mathcal{X}\in {\mathbb{R}}^p$进行非线性高维转换：$\mathcal{X}\to \varphi (\mathcal{X})\in {\mathbb{R}}^q$；
给定模型参数$\mathcal{W}$一个先验分布：
由于$\mathcal{X}$已经执行了‘非线性转换’，因此此时的$\mathcal{W}$是$q$维随机变量，对应的协方差矩阵${\Sigma }_{prior}$同样需要时$q\times q$的格式。
$$\mathcal{W}\sim \mathcal{N}(0,[{\Sigma }_{prior}{]}_{q\times q})$$
因此，线性模型$f(\mathcal{X})$的期望$\mathbb{E}[f(\mathcal{X})]$可表示如下：
这里关注的是$\mathcal{W}$的变化，因此这里将$\varphi (\mathcal{X})$看作常数。
$$\mathbb{E}[f(\mathcal{X})]=\mathbb{E}\left\{[\varphi (\mathcal{X}){]}^T\mathcal{W}\right\}=[\varphi (\mathcal{X}){]}^T\mathbb{E}[\mathcal{W}]=[\varphi (\mathcal{X}){]}^T\cdot 0=0$$
对于任意$x^{(i)},x^{(j)}\in {\mathbb{R}}^p$，对应函数结果的协方差$Cov\left[f(x^{(i)}),f(x^{(j)})\right]$表示如下：
$$\begin{array}{rl}Cov\left[f(x^{(i)}),f(x^{(j)})\right]& =\mathbb{E}\left\{\left[f(x^{(i)})-\mathbb{E}[f(x^{(i)})]\right]\cdot \left[f(x^{(j)})-\mathbb{E}[f(x^{(j)})]\right]\right\}\\ & =\mathbb{E}\left\{\left[f(x^{(i)})-0\right]\cdot \left[f(x^{(j)})-0\right]\right\}\\ & =\mathbb{E}\left[f(x^{(i)})\cdot f(x^{(j)})\right]\\ & =\mathbb{E}\left[\varphi (x^{(i)}{)}^T\mathcal{W}\cdot \varphi (x^{(j)}{)}^T\mathcal{W}\right]\end{array}$$
由于$\varphi (x^{(j)}{)}^T\mathcal{W}$结果是一个实数，因而${\left[\varphi (x^{(j)}{)}^T\mathcal{W}\right]}^T={\mathcal{W}}^T\varphi (x^{(j)})$等于$\varphi (x^{(j)}{)}^T\mathcal{W}$自身。因而有：
$\Delta$表示上述推导结果。
$$\begin{array}{rl}\Delta & =\mathbb{E}\left[\varphi (x^{(i)}{)}^T\mathcal{W}\cdot {\mathcal{W}}^T\varphi (x^{(j)})\right]\\ & =[\varphi (x^{(i)}){]}^T\cdot \mathbb{E}[\mathcal{W}\cdot {\mathcal{W}}^T]\cdot \varphi (x^{(j)})\end{array}$$
观察$\mathbb{E}[\mathcal{W}\cdot {\mathcal{W}}^T]$，它实际上就是：
$$\begin{array}{rl}\mathbb{E}[\mathcal{W}\cdot {\mathcal{W}}^T]& =\mathbb{E}\left[(\mathcal{W}-0)\cdot ({\mathcal{W}}^T-0)\right]\\ & =\mathbb{E}\left\{[\mathcal{W}-\mathbb{E}[\mathcal{W}]]\cdot [\mathcal{W}-\mathbb{E}[\mathcal{W}]{]}^T\right\}\\ & =Cov(\mathcal{W},\mathcal{W})\\ & ={\Sigma }_{prior}\end{array}$$
至此，关于$f(x^{(i)})$和$f(x^{(j)})$的协方差结果$Cov\left[f(x^{(i)}),f(x^{(j)})\right]$表示如下：
$$\begin{array}{rl}Cov\left[f(x^{(i)}),f(x^{(j)})\right]& =[\varphi (x^{(i)}){]}_{1\times q}^T\cdot [{\Sigma }_{prior}{]}_{q\times q}\cdot [\varphi (x^{(j)}){]}_{q\times 1}\\ & =\mathcal{K}(x^{(i)},x^{(j)})\end{array}$$

小插曲：记号函数$\mathcal{K}$是核函数的必要性证明

继续将$Cov\left[f(x^{(i)}),f(x^{(j)})\right]$展开，有：
在权重空间角度文章的末尾介绍的是‘记号函数’$\mathcal{K}(\cdot ,\cdot )$的充分性证明。这里顺势补充一下必要性证明。
$$\begin{array}{rl}Cov\left[f(x^{(i)}),f(x^{(j)})\right]& =(x_1^{(i)},x_2^{(i)},\cdots ,x_q^{(i)})\left(\begin{array}{c}{\Sigma }_{prior}^{11},{\Sigma }_{prior}^{12},\cdots ,{\Sigma }_{prior}^{1q}\\ {\Sigma }_{prior}^{21},{\Sigma }_{prior}^{22},\cdots ,{\Sigma }_{prior}^{2q}\\ ⋮\\ {\Sigma }_{prior}^{q1},{\Sigma }_{prior}^{q2},\cdots ,{\Sigma }_{prior}^{qq}\end{array}\right)\left(\begin{array}{c}{x}_1^{(j)}\\ x_2^{(j)}\\ ⋮\\ x_q^{(j)}\end{array}\right){\Sigma }_{prior}^{ij}=Cov(w_i,w_j);w_i,w_j\in \mathcal{W}\\ & =\left[\sum _{k=1}^q{x}_k^{(i)}{\Sigma }_{prior}^{k1},\cdots ,\sum _{k=1}^q{x}_k^{(i)}{\Sigma }_{prior}^{kq}\right]\left(\begin{array}{c}{x}_1^{(j)}\\ x_2^{(j)}\\ ⋮\\ x_q^{(j)}\end{array}\right)\\ & =\sum _{l=1}^q\sum _{k=1}^q{x}_k^{(i)}\cdot {\Sigma }_{prior}^{kl}\cdot x_l^{(j)}\end{array}$$
其中，$x_k^{(i)},{\Sigma }_{prior}^{kl},x_l^{(j)}$均表示实数，因而有：
$$\begin{array}{rl}& \sum _{l=1}^q\sum _{k=1}^q{x}_k^{(i)}\cdot {\Sigma }_{prior}^{kl}\cdot x_l^{(j)}=\sum _{l=1}^q\sum _{k=1}^q{x}_l^{(j)}\cdot {\Sigma }_{prior}^{kl}\cdot x_k^{(i)}\\ & \Rightarrow Cov\left[f(x^{(i)}),f(x^{(j)})\right]=Cov\left[f(x^{(j)}),f(x^{(i)})\right]\\ & \Rightarrow \mathcal{K}(x^{(i)},x^{(j)})=\mathcal{K}(x^{(j)},x^{(i)})\end{array}$$
这意味着核矩阵$\mathbb{K}$是实对称矩阵，那么它必然是半正定的：
$$\mathbb{K}={\left[\begin{array}{c}\mathcal{K}(x^{(1)},x^{(1)}),\mathcal{K}(x^{(1)},x^{(2)}),\cdots ,\mathcal{K}(x^{(1)},x^{(N)})\\ \mathcal{K}(x^{(2)},x^{(1)}),\mathcal{K}(x^{(2)},x^{(2)}),\cdots ,\mathcal{K}(x^{(2)},x^{(N)})\\ ⋮\\ \mathcal{K}(x^{(N)},x^{(1)}),\mathcal{K}(x^{(N)},x^{(2)}),\cdots ,\mathcal{K}(x^{(N)},x^{(N)})\end{array}\right]}_{N\times N}$$
至此，证明记号$\mathcal{K}$函数是正定核函数。
正定核函数必要性证明参考传送门

言归正传

根据$Cov\left[f(x^{(i)}),f(x^{(j)})\right]=\mathcal{K}(x^{(i)},x^{(j)})$，这意味着：如果将 { f ( X ) } x ∈ R p = { f ( x 1 ) , f ( x 2 ) , ⋯   , f ( x p ) } \{f(\mathcal X)\}_{x \in \mathbb R^p} = \{f(x_1),f(x_2),\cdots,f(x_p)\} {f(X)}x∈Rp​={f(x1​),f(x2​),⋯,f(xp​)}本身看做一个随机变量集合，那么这个随机变量本身的协方差结果可以由核函数表示。

回顾高斯过程的定义式： { ξ t } t ∈ T ∼ G P [ m ( t ) , K ( t , s ) ] ( s , t ∈ T ) \{\xi_t\}_{t \in \mathcal T} \sim \mathcal G\mathcal P[m(t),\mathcal K(t,s)] \quad (s,t \in \mathcal T) {ξt​}t∈T​∼GP[m(t),K(t,s)](s,t∈T)，其中$s,t$本身不是随机变量，它们仅是描述连续域中状态/时刻的下标(index)，和随机变量$\xi$之间不存在关系。因而可以将高斯过程定义式表示为如下形式：
{ { f ( X ) } X ∈ R p ∼ G P [ m ( X ) , K ( x ( i ) , x ( j ) ) ] x ( i ) , x ( j ) ∈ X { ξ t } t ∈ T ∼ G P [ m ( t ) , K ( t , s ) ] ( s , t ∈ T ) \begin{cases} \{f(\mathcal X)\}_{\mathcal X \in \mathbb R^p} \sim \mathcal G\mathcal P[m(\mathcal X),\mathcal K(x^{(i)},x^{(j)})] \quad x^{(i)},x^{(j)} \in \mathcal X \\ \{\xi_t\}_{t \in \mathcal T} \sim \mathcal G\mathcal P[m(t),\mathcal K(t,s)] \quad (s,t \in \mathcal T) \end{cases} {{f(X)}X∈Rp​∼GP[m(X),K(x(i),x(j))]x(i),x(j)∈X{ξt​}t∈T​∼GP[m(t),K(t,s)](s,t∈T)​

小结

对比一下两种高斯过程的表达：

• $t$和${\xi }_t$之间不存在关联关系，只是一个下标的表示；而$\mathcal{X}$和$f(\mathcal{X})$之间存在明确的函数关系；
• ${\xi }_t$表示连续域$\mathcal{T}$中$t$时刻的一个高维随机变量；而$f(\mathcal{X})$表示$p$维实数域${\mathbb{R}}^p$中某随机变量$\mathcal{X}$对应的高维随机变量；
• 均值函数、方差函数：这里以方差函数为例，它们均表示连续域中随机变量集合的核矩阵：
  K ( s , t ) ⇒ [ K ( ξ t 1 , ξ t 1 ) , K ( ξ t 1 , ξ t 2 ) , ⋯   , K ( ξ t 1 , ξ t n ) K ( ξ t 2 , ξ t 1 ) , K ( ξ t 2 , ξ t 2 ) , ⋯   , K ( ξ t 2 , ξ t n ) ⋮ K ( ξ t n , ξ t 1 ) , K ( ξ t n , ξ t 2 ) , ⋯   , K ( ξ t n , ξ t n ) ] n × n s , t ∈ { t 1 , t 2 , ⋯   , t n } K ( x ( i ) , x ( j ) ) ⇒ [ K ( x ( 1 ) , x ( 1 ) ) , K ( x ( 1 ) , x ( 2 ) ) , ⋯   , K ( x ( 1 ) , x ( N ) ) K ( x ( 2 ) , x ( 1 ) ) , K ( x ( 2 ) , x ( 2 ) ) , ⋯   , K ( x ( 2 ) , x ( N ) ) ⋮ K ( x ( N ) , x ( 1 ) ) , K ( x ( N ) , x ( 2 ) ) , ⋯   , K ( x ( N ) , x ( N ) ) ] N × N x ( i ) , x ( j ) ∈ X \begin{aligned} \mathcal K(s,t) & \Rightarrow \begin{bmatrix} \mathcal K(\xi_{t_1},\xi_{t_1}),\mathcal K(\xi_{t_1},\xi_{t_2}),\cdots,\mathcal K(\xi_{t_1},\xi_{t_n}) \\ \mathcal K(\xi_{t_2},\xi_{t_1}),\mathcal K(\xi_{t_2},\xi_{t_2}),\cdots,\mathcal K(\xi_{t_2},\xi_{t_n}) \\ \vdots \\ \mathcal K(\xi_{t_n},\xi_{t_1}),\mathcal K(\xi_{t_n},\xi_{t_2}),\cdots,\mathcal K(\xi_{t_n},\xi_{t_n}) \\ \end{bmatrix}_{n \times n} \quad s,t \in \{t_1,t_2,\cdots,t_n\} \\ \mathcal K(x^{(i)},x^{(j)}) & \Rightarrow \begin{bmatrix} \mathcal K(x^{(1)},x^{(1)}),\mathcal K(x^{(1)},x^{(2)}),\cdots,\mathcal K(x^{(1)},x^{(N)}) \\ \mathcal K(x^{(2)},x^{(1)}),\mathcal K(x^{(2)},x^{(2)}),\cdots,\mathcal K(x^{(2)},x^{(N)}) \\ \vdots \\ \mathcal K(x^{(N)},x^{(1)}),\mathcal K(x^{(N)},x^{(2)}),\cdots,\mathcal K(x^{(N)},x^{(N)}) \\ \end{bmatrix}_{N \times N} \quad x^{(i)},x^{(j)} \in \mathcal X \end{aligned} K(s,t)K(x(i),x(j))​⇒⎣⎢⎢⎢⎡​K(ξt1​​,ξt1​​),K(ξt1​​,ξt2​​),⋯,K(ξt1​​,ξtn​​)K(ξt2​​,ξt1​​),K(ξt2​​,ξt2​​),⋯,K(ξt2​​,ξtn​​)⋮K(ξtn​​,ξt1​​),K(ξtn​​,ξt2​​),⋯,K(ξtn​​,ξtn​​)​⎦⎥⎥⎥⎤​n×n​s,t∈{t1​,t2​,⋯,tn​}⇒⎣⎢⎢⎢⎡​K(x(1),x(1)),K(x(1),x(2)),⋯,K(x(1),x(N))K(x(2),x(1)),K(x(2),x(2)),⋯,K(x(2),x(N))⋮K(x(N),x(1)),K(x(N),x(2)),⋯,K(x(N),x(N))​⎦⎥⎥⎥⎤​N×N​x(i),x(j)∈X​

关于给定样本$\hat{x}$的预测任务中：

• 权重空间角度关注模型参数$\mathcal{W}$，对预测任务的表达式如下：
  $$\mathcal{P}(\hat{y}\mid \hat{x},Data)={\int }_{\mathcal{W}\mid Data}\mathcal{P}(\hat{y}\mid \mathcal{W},\hat{x})\cdot \mathcal{P}(\mathcal{W}\mid Data)d\mathcal{W}$$
• 函数空间角度关注$f(\mathcal{X})$自身，将$f(\mathcal{X})=[\varphi (\mathcal{X}){]}^T\mathcal{W}$自身看作随机变量，对预测任务的表达式如下：
  $$\mathcal{P}(\hat{y}\mid Data,\hat{x})={\int }_{f(\mathcal{X})}\mathcal{P}(\hat{y}\mid f(\mathcal{X}),\hat{x})\cdot \mathcal{P}[f(\mathcal{X})\mid Data]df(\mathcal{X})$$

函数空间角度与权重空间角度的核心差别在于$\mathcal{K}(x^{(i)},x^{(j)})$的表示上。

• 权重空间角度需要将$x^{(i)},x^{(j)}\to \varphi (x^{(i)}),\varphi (x^{(j)})$，然后通过高维转换后的样本维度重新对$\mathcal{W}$的先验分布$\mathcal{P}(\mathcal{W})$进行设定$\to \mathcal{N}(0,{\Sigma }_{prior})$。再凑成$\mathcal{K}(x^{(i)},x^{(j)})=\varphi (x^{(i)}){\Sigma }_{prior}\varphi (x^{(j)})$的格式，去求解$\mathcal{W}$的后验概率分布$\mathcal{P}(\mathcal{W}\mid Data)$;
• 函数空间角度直接用$Cov[f(x^{(i)}),f(x^{(j)})]$表示$\mathcal{K}(x^{(i)},x^{(j)})$，从而并不需要单独求解$\mathcal{W}$，而是直接求解$f(x^{(i)})=[\varphi (x^{(i)}){]}^T\mathcal{W},f(x^{(j)})=[\varphi (x^{(j)}){]}^T\mathcal{W}$即可。在预测任务中，直接通过$[\varphi (x){]}^T\mathcal{W}$替代$\mathcal{W}$执行预测任务。

相关参考：
机器学习-高斯过程回归-权重空间到函数空间（From Weight-Space To Function-Space）