高斯过程(Gaussian Process)

高斯过程是对函数的概率分布进行建模，给定数据 $(\mathbf{X},\mathbf{Y})$ , 高斯过程便是得到从空间 $\mathbf{X}$ 到空间 $\mathbf{y}$ 的概率性映射，假设 $f$ 为所需求得的函数分布，考虑到存在一定的噪声干扰，则从 $\mathbf{X}$ 到 $\mathbf{y}$ 的概率性映射可表示为：
$$\mathbf{y}=f(\mathbf{X})+\mathbf{ϵ},\mathbf{ϵ}\sim \mathcal{N}\left(0,{\beta }^{-1}\mathbf{I}\right)$$ 该公式中涉及两个映射过程，先是从 $\mathbf{X}$ 到函数 $\mathbf{F}$ 的映射，后是 $\mathbf{F}$ 到 $\mathbf{Y}$ 的映射。而高斯过程主要专注于第一个映射过程，这两个概率性映射可由以下高斯分布表示：
$$\mathbf{F}\mid \mathbf{X}\sim \mathcal{N}(0,K(\mathbf{X},\mathbf{X}))$$$$\mathbf{Y}\mid \mathbf{F}\sim \mathcal{N}\left(\mathbf{F},{\beta }^{-1}{\mathbf{I}}_N\right)$$ 其中 $K(\mathbf{X},\mathbf{X})$ 是高斯过程的核函数，衡量各$\mathbf{X}$之间的两两相互关系。
则由 $\mathbf{X}$ 到 $\mathbf{y}$ 的概率映射可表示为：
$$p(\mathbf{y}\mid \mathbf{X})=\int p(\mathbf{y}\mid \mathbf{f})p(\mathbf{f}\mid \mathbf{X})d\mathbf{f}$$ 现在我们给定测试数据 ${\mathbf{X}}^{\ast }$， 要求其所对应的预测值 ${\mathbf{y}}^{\ast }$, 其公式为：
$$p({\mathbf{y}}^{\ast }\mid {\mathbf{X}}^{\ast },\mathbf{X},\mathbf{y})=\int p({\mathbf{y}}^{\ast }\mid {\mathbf{f}}^{\ast })p({\mathbf{f}}^{\ast }\mid {\mathbf{X}}^{\ast },\mathbf{X},\mathbf{y})d\mathbf{f}$$ 其中 $p\left({\mathbf{y}}^{\ast }\mid {\mathbf{f}}^{\ast }\right)$ 已知，$p\left({\mathbf{f}}^{\ast }\mid {\mathbf{X}}^{\ast },\mathbf{X},\mathbf{y}\right)$ 为未知量，由于：
$$\left[\begin{array}{l}\mathbf{f}\\ {\mathbf{f}}^{\ast }\end{array}\right]\sim \mathcal{N}\left(0,\left[\begin{array}{ll}K(\mathbf{X},\mathbf{X})& K\left(\mathbf{X},{\mathbf{X}}^{\ast }\right)\\ K\left({\mathbf{X}}^{\ast },\mathbf{X}\right)& K\left({\mathbf{X}}^{\ast },{\mathbf{X}}^{\ast }\right)\end{array}\right]\right)$$ 所以：
$$\begin{array}{rl}p\left({\mathbf{f}}^{\ast }\mid {\mathbf{X}}^{\ast },\mathbf{X},\mathbf{y}\right)\sim \mathcal{N}(& K\left({\mathbf{X}}^{\ast },\mathbf{X}\right)K(\mathbf{X},\mathbf{X}{)}^{-1}\mathbf{f},\\ & K\left({\mathbf{X}}^{\ast },{\mathbf{X}}^{\ast }\right)-K\left({\mathbf{X}}^{\ast },\mathbf{X}\right)K(\mathbf{X},\mathbf{X}{)}^{-1}K\left(\mathbf{X},{\mathbf{X}}^{\ast }\right))\end{array}$$ 上式的证明可参考《Pattern Recognition and Machine Learning》一书中的”条件高斯分布”章节。