高斯过程回归（GPR）—— 数学推导

补充知识点：1. 高斯分布； 2. 条件概率P的值：P = N(u, E) ？？

posterior：后验分布

GP：连续域上，无限多个高维随机变量（高斯分布）所组成的随机过程。

：高维高斯分布 

GPR可从两个视角观察

      权重空间角度和函数空间角度，二者结果一样，但函数空间角度更加简单。

1. 权重空间角度

     GPR = Bayesian LR + Kernal Trick

2. 权重空间到函数空间

 因为f(x)的协方差函数cov是一个核函数，因此其可看成一个高斯过程

（1）f(x)是一个函数；

（2）f(x)是服从高斯分布的随机变量。

存在定理：对任意集合S中的单个元素都存在某个均值函数，以及对任意集合S中的2个元素都存在某个核函数（即协方差函数），则在S上一定存在一个高斯过程Z(t)，其元素具有类似S形式的均值和方差。所以在给定集合S后，我们只需要给出一个一元的均值函数，一个二元的核函数表达式，就可以构造出一个高斯过程。

3. 函数空间角度