一文搞定（三） —— 高斯过程回归 Gaussian Process Regression

2021.03.07 更新： 优化了 section 1 的内容，删去文章原先结构中的 2、3 两个 section（这两部分涉及高斯过程的权重空间视角，因并不实用且易产生混淆而得到删除，但其完整内容仍然可以在作者的个人博客中查看：链接 ）
2021.03.27 更新： 丰富了 section 2 的内容，添加了更多图像化的、从而易于理解的表述。

---

【参考资料】
1.B站：机器学习-白板推导系列(二十)-高斯过程GP(Gaussian Process)
2.CSDN：一文搞定（二）—— 贝叶斯线性回归
3.知乎：Gaussian process regression的导出——权重空间视角下的贝叶斯的方法
4.知乎：高斯过程 Gaussian Processes 原理、可视化及代码实现

【文章结构】
1 Introduction: 从高斯分布到高斯过程
2 高斯过程回归 Gaussian Process Regression
3 代码示例 （包含对于一个简单 GPR 示例的 python 和 matlab 两种语言的代码）

1 Introduction: 从高斯分布到高斯过程

1.1 多元高斯分布

$$p(\mathbf{x})=\prod _{i=1}^{n}p(x_i)=\frac{1}{(2\pi {)}^{\frac{n}{2}}{\sigma }_1...{\sigma }_n}\exp (-\frac{1}{2}[\frac{(x_1-{\mu }_1{)}^2}{{\sigma }_1^2}...\frac{(x_n-{\mu }_n{)}^2}{{\sigma }_2^2}])\text{\hspace{1em}(1)}$$
进一步的，令

1. $\mathbf{x}-\mathbf{\mu }=[x_1-{\mu }_1,...,x_n-{\mu }_n{]}^T$
2. $\mathbf{\Sigma }=\left[\begin{array}{cccc}{\sigma }_1^2& 0& ...& 0\\ 0& {\sigma }_2^2& ...& 0\\ ...& ...& ...& ....\\ 0& ...& 0& {\sigma }_n^2\end{array}\right]$

从而可得多元高斯分布的向量化表示：