高斯过程 Gaussian Process

一、什么是高斯过程

  高斯过程是一种随机过程，即按时间或者空间索引的随机变量的集合。这个集合中的有限个随机变量构成多维高斯分布。高斯过程就是这个集合中所有随机变量(无限多个)的联合分布。

二、高斯分布

2.1 一元高斯分布

  一元高斯分布的概率密度函数为：

$$f(x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{1}{2}(\frac{x-\mu }{\sigma }{)}^2}\text{\hspace{1em}(1)}$$

2.2 多元高斯分布

  多元高斯分布是单元正态分布向多维的推广。我们以二元为例进行介绍。
假设变量为$[X,Y{]}^T$, 其概率密度函数为：

f ( x , y ) = 1 2 π σ X σ Y 1 − ρ 2 e − 1 2 ( 1 − ρ 2 ) [ ( x − μ X σ X ) 2 − 2 ρ ( x − μ X σ X ) ( y − m u Y σ Y ) + ( y − μ Y σ Y ) 2 ] (2) f(x,y) = \frac{1}{2\pi\sigma_X \sigma_Y\sqrt{1-\rho^2}}e^{-\frac{1}{2(1-\rho^2)}[(\frac{x-\mu_X}{\sigma_X})^2-2\rho(\frac{x-\mu_X}{\sigma_X})(\frac{y-_mu_Y}{\sigma_Y})+(\frac{y-\mu_Y}{\sigma_Y})^2]}\tag{2} f(x,y)=2πσX​σY​1−ρ2 ​1​e−2(1−ρ2)1​[(σX​x−μX​​)2−2ρ(σX​x−μX​​)(σY​y−m​uY​​)+(σY​y−μ