高斯过程

高斯过程

在概率论和统计学中，高斯过程是观测值出现在一个连续域（例如时间或空间）的统计模型。在高斯过程中，连续输入空间中每个点都是与一个正态分布的随机变量相关联。此外，这些随机变量的每个有限集合都有一个多元正态分布。

高斯过程被认为是一种机器学习算法，是以惰性学习方式，利用点与点之间同质性的度量作为核函数，以从输入的训练数据预测未知点的值。其预测结果不仅包含该点的值，而同时包含不确定性的资料——它的一维高斯分布。

如下公式所示，$y,x$是已知的输入数据（包含多个数据），$x_*$是新来的点，预测$y_*$的值。

$$P(y_*|y,x,x_*)=\frac{P(y_*,y|x,x_*)}{P(y|x,x_*)}=\frac{P(y_*,y|x,x_*)}{P(y|x)}$$
显然，核心就是建立 $P(y|x)$的具体形式，然后求出条件概率 $P(y_*|y,x,x_*)$。

高斯过程回归

现实生活中，我们遇到的一个典型问题就是选择合适的模型拟合训练集中自变量$x$与因变量$y$之间的关系，并根据新的自变量$x_*$来预测对应的因变量$y_*$

$$P(y_*|x,y,x_*)$$
如果关系足够简单，那么线性回归就能实现很好的预测，但现实情况往往十分复杂，此时，高斯过程回归就为我们提供了拟合复杂关系的绝佳方法。

模型的建立

• 普通线性回归：

$$y=w^Tx$$

• 线性无法满足，投影到高维（这里的$w^T$与上式的$w^T$维度不一样）：

$$y=w^T\phi(x)$$

• $y$满足高斯过程（$f(x)$之间的协方差定义成与输入$x$有关的函数，$\Delta x$越小，相关性越高，协方差越大）：

$$y=w^T\phi(x)+f(x) \\ s.t. \space f(x)\sim GP(0, k(x,x'))$$

• 观测不准，带噪声：

$$y=w^T\phi(x)+f(x)+\epsilon \\ s.t. \space f(x)\sim GP(0, k(x,x')), \\ \epsilon\sim N(0,\sigma^2)$$

• 写成向量形式，该模型等价于：