6.4 高斯过程（PRML读书笔记）

  在6.1节，通过将对偶性的概念应⽤于回归的⾮概率模型，我们引出了核的概念。这⾥，我们把核的角⾊推⼴到概率判别式模型中，引出了⾼斯过程的框架。
  在第3章，我们考虑了线性回归模型，形式为$y(\text{x},\text{w})={\text{w}}^T\varphi (x)$。我们证明了，$\text{w}$上的先验分布会产⽣函数$y(\text{x},\text{w})$上的⼀个对应的先验分布。给定⼀个训练数据集，我们计算$\text{w}$上的后验概率分布，从⽽就得到和回归函数对应的后验概率分布。回归函数（叠加上噪声）表⽰了对于新输⼊向量$\text{x}$的⼀个预测分布$p(t|\text{x})$。
  在⾼斯过程的观点中，我们抛弃参数模型，直接定义函数上的先验概率分布。乍⼀看来，在函数组成的不可数的⽆穷空间中对概率分布进⾏计算似乎很困难。但是，对于⼀个有限的训练数据集，我们只需要考虑训练数据集和测试数据集的输⼊${\text{x}}_n$处的函数值即可，因此在实际应⽤中我们可以在有限的空间中进⾏计算。

6.4.1 重新考虑线性回归问题

  考虑⼀个模型，它被定义为

  考虑$\text{w}$上的先验分布为各向同性的⾼斯分布，形式为

  $\text{y}=(y({\text{x}}_1),...,y({\text{x}}_N))$的概率分布为

  根据公式6.50，均值和方差为

其中， $K$是$Gram$矩阵，元素为

  通常来说，⾼斯过程被定义为函数$y(\text{x})$上的⼀个概率分布，使得$\text{y}$服从⾼斯分布（为什么联合分布是高斯分布）。更⼀般地，可以⽤⼀种合理的⽅式为$\text{y}$赋予⼀个联合的概率分布，来确定⼀个随机过程 $y(\text{x})$。
  我们也可以直接定义核函数，⽽不是间接地通过选择基函数。

6.4.2 ⽤于回归的⾼斯过程

  为了把⾼斯过程模型应⽤于回归问题，我们需要考虑观测⽬标值的噪声，形式为

其中$y_n=y({\text{x}}_n)$， ${ϵ}_n$是⼀个随机噪声变量，它的值对于每个观测$n$是独⽴的。这⾥，我们考虑服从⾼斯分布的噪声过程，即

⽬标值$t=(t_1,...,t_N{)}^T$ 的联合概率分布是⼀个各向同性的⾼斯分布，形式为

根据⾼斯过程的定义（6.4.1小节），边缘概率分布$p(\text{y})$为

确定$K$的核函数通常被选择成能够表⽰下⾯的性质：对于相似的点${\text{x}}_n$和${\text{x}}_m$， 对应的值$y({\text{x}}_n)$和$y({\text{x}}_m)$的相关性要⼤于不相似的点。这⾥，相似性的概念取决于实际应⽤。
  使⽤公式（2.115），我们看到$\text{t}$的边缘概率分布为

其中

  这个结果反映了下⾯的事实：两个随机的⾼斯分布（即与$y(\text{x})$相关的⾼斯分布和与$ϵ$相关的⾼斯分布）是独⽴的，因此它们的协⽅差可以简单地相加（这个相加也是有条件的，即$ϵ$的均值为0）。
  ⽬前为⽌，我们已经使⽤⾼斯过程的观点来构建数据点的集合上的联合概率分布的模型，下面要对对新的输⼊变量预测⽬标变量的值。让我们假设${\text{t}}_N=(t_1,...,t_N{)}^T$，对应于输⼊值${\text{x}}_1,...,{\text{x}}_N$，组成观测训练集，我们要计算预测分布$p(t_{N+1}|{\text{t}}_N)$。
  根据公式（6.61），${\text{t}}_{N+1}=(t_1,...,t_{N+1})$的联合概率分布为

  使⽤公式（2.81和公式（2.82），我们看到条件概率分布$p(t_{N+1}|\text{t})$是⼀个⾼斯分布，均值和协⽅差为

其中向量$\text{k}$的元素为$k({\text{x}}_n,{\text{x}}_{N+1})$，其中$n=1,...,N$，标量$c=k({\text{x}}_{N+1},{\text{x}}_{N+1})+\frac{1}{\beta }$。
  预测分布的均值（6.66）可以写成$x_{N+1}$的函数，形式为

  公式（6.66）和公式（6.67）的结果定义了具有任意核函数$k(\text{x},\text{x′})$的⾼斯过程回归。在特殊情况下，如果核函数$k(\text{x},\text{x′})$根据基函数的有限集定义，那么我们就可以从⾼斯过程的观点开始，推导出之前在3.3.2节得到的线性回归的结果（两种方式有什么异同）。如果基函数的数量$M$⽐数据点的数量$N$⼩，那么使⽤基函数框架计算会更⾼效。但是，⾼斯过程观点的⼀个优点是，我们可以处理那些只能通过⽆穷多的基函数表达的协⽅差函数。但是，对于⼤的训练数据集，直接应⽤⾼斯过程⽅法就变得不可⾏了，因此⼀系列近似的⽅法被提出来。与精确的⽅法相⽐，这些近似的⽅法关于训练数据集的规模有着更好的时间复杂度。

附录

公式推导

• 公式6.53如何推导出来
  证明：
  由于$\text{y}$均值为零（公式6.52），故$cov[\text{y}]=E[{\text{yy}}^T]$（式1）
  由公式6.50易得，$E[\text{w}]=0$，于是$cov[\text{w}]=E[{\text{ww}}^T]=\frac{1}{\alpha }\text{I}$（式2）
  由式1、式2得，
  $cov[\text{y}]=E[{\text{yy}}^T]=\Phi [{\text{ww}}^T]{\Phi }^T=\frac{1}{\alpha }\Phi {\Phi }^T=\text{K}$
• 如何证明公式6.56是合法的核函数

互动话题

• 公式6.51下面一段指出，该公式中的$\text{y}$服从高斯分布。这一点如何得出？
  概率论中有定理：如果$(X_1,..,X_n)$是一个$n$维高斯变量，那么对它的任意线性组合都是高斯分布。由公式6.50知道$\text{w}$是服从多维高斯分布的；又由公式6.51的定义可得，$\text{y}$中的每个元素均是$\text{w}$的线性组合。但是如何证明$\text{y}$是高斯分布。