机器学习笔记之高斯过程(一)——基本介绍

引言

从本节开始，将介绍高斯过程。

高斯过程简单介绍

高斯过程(Gaussian Process)，从名字中很明显，它是一种和高斯分布相关的随机过程(Stochastic Process)。
从一维高斯分布开始，此时只有一个一维随机变量$x_1$，它服从的高斯分布可表示为：
$$\mathcal{P}(x_1)\sim \mathcal{N}(\mu ,{\sigma }^2)=\frac{1}{\sigma \sqrt{2\pi }}\exp [-\frac{(x-\mu {)}^2}{2{\sigma }^2}]$$
如果样本并不是一个特征，而是多个特征，并且这些特征均服从高斯分布。假设对应的随机变量集合 X = { x 1 , x 2 , ⋯   , x p } \mathcal X = \{x_1,x_2,\cdots,x_p\} X={ x1​,x2​,⋯,xp​}，那么$\mathcal{X}$服从的是一个多元高斯分布：
$$\mathcal{P}(\mathcal{X})\sim \mathcal{N}(\mu ,\Sigma )=\frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}\exp \left\{-\frac{1}{2}(\mathcal{X}-\mu {)}^T{\Sigma }^{-1}(\mathcal{X}-\mu )\right\}$$
在高斯网络基本介绍中，这个多元高斯分布描述了$\mathcal{X}$内部各随机变量之间的条件独立性，并且这些条件独立性信息由精度矩阵(Precision Matrix)记录。
很明显，这是一个静态概率图模型，高斯网络中的节点数量与$\mathcal{X}$中随机变量的数量相关。

而高斯过程可以理解为联合正态分布的无限维广义延伸。但这里的无限维是指从时间、空间等连续域中产生的维度。以时间为例，一段连续时间内，可能包含若干个状态，而每个状态的随机变量均服从高斯分布。并且每个状态的随机变量不一定是一维的，也可能是高维的。

因此，可以将高斯过程其理解为：在连续域上的无限多个高维随机变量组成的随机过程。和之前介绍的马尔可夫链相似，这里的连续域通常指时间、空间，或者是指抽象的时间，例如序列。

对场景进行如下构建：

• 假设时间$\mathcal{T}$表示某个连续域，而$t$表示连续域$\mathcal{T}$中的某个时刻。
  $t$是对连续域$\mathcal{T}$宏观时刻的一种表示。
• 这个连续域$\mathcal{T}$中可能包含很多时刻，用$t_i(i=1,2$