高斯过程回归（Gaussian Process Regression）

•  先说一说 高斯过程回归 的 Intuition:
  

  

假设有一个未知的函数f  : R–> R ，

在训练集中，我们有3个点 x_1, x_2, x_3,   以及这3个点对应的结果，f1,f2,f3. (如图) 这三个返回值可以有噪声，也可以没有。我们先假设没有。

so far so good. 没什么惊讶的事情。

高斯过程回归的关键假设是：

给定 一些  X 的值，我们对  Y 建模，并假设 对应的这些 Y 值 服从 联合正态分布！

（更正式的定义后面会说到）

换言之，对于上面的例子，我们的假设是：

一般来说，这个联合正态分布的均值向量不用操心，假设成0 就蛮好。（讲到后面你就知道为什么了）

所以关键是，这个模型的 协方差矩阵K 从哪儿来。

为了解答这个问题，我们进行了另一个重要假设：

如果两个x 比较相似（eg, 离得比较近），那么对应的y值的相关性也就较高。换言之，协方差矩阵是 X 的函数。（而不是y的函数）

具体而言，对于上面的例子，由于x3和x2离得比较近，所以我们假设 f3和f2 的correlation 要比 f3和f1的correlation 高。

话句话说，我们可以假设协方差矩阵的每个元素为对应的两个x值的一个相似性度量：