高斯过程回归(GPR)

1.高斯过程是定义在连续域上的无限多个服从高斯分布的随机变量所组成的随机过程

2.高斯过程回归有两个视角：权重空间视角和函数空间视角，这两者是等价的

3.权重空间视角是贝叶斯线性回归与核函数的结合形式

4.函数空间视角是函数服从高斯过程的随机变量，能优化“黑盒子”函数的效果

5.高斯过程回归也应用在机器学习模型超参数调节中，效率比网格搜索、随机搜索都要高

高斯过程回归有两个视角，一个是权重空间视角（weight-space view），另一个是函数空间视角（function-space view），它们达到的效果一样的。我们先从高斯过程开始介绍，理解这两个视角下的高斯过程回归，你会发现它其实是贝叶斯线性回归的非线性形式，且为后面深入理解贝叶斯调参打下基础。

高斯过程

高斯过程（Gaussian Process,GP）是定义在连续域上的无限多个服从高斯分布的随机变量所组成的随机过程。

一个高斯过程由mean function和kernel function唯一确定（高斯过程存在性定理）.

下面通过一个例子来理解高斯过程。

假设人的心率在一天中是服从正态分布的，那么心率就是一个随机变量，在每天的任意一个时刻测量都会得到一个值。如果星期一到星期四都进行测量，那么就会得到下面的一幅图：

从函数视角去看，每天有无数个时刻，这些时刻的测量值就构成了一个无限维的高斯分布，我们就把这个过程称为高斯过程。

注：关于例子更多的解释见参考资料第一个链接

高斯回归：权重空间角度

在