高斯噪声的均值和方差_高斯过程和高斯过程回归

本文未经允许禁止转载，谢谢合作。

本文我们介绍高斯过程及其在机器学习中应用的一个例子——高斯过程回归。

高斯过程在语音合成中有广泛的应用，我计划在之后的文章中介绍一些应用，但本节我们重点讨论相关的基础知识。

本文的大部分内容来自Stanford CS229-gaussian_process，有兴趣的同学可以去看英文原版。

明天是元旦，因此也祝大家元旦快乐。

1. 多元高斯分布

1.1 定义

设随机变量

服从均值为μ，协方差矩阵是Σ的

多元高斯分布，如果：

我们用

来表示。这里Σ是对称正定的n × n矩阵。

多元高斯变量在机器学习中非常常用，主要是因为它有下面两个特点：

① 可以用来建模噪声

② 在很多积分中，如果有高斯分布，则很多情况下可以得到简单的封闭形式的解。

1.2 性质

我们首先假设x被分成了两个部分

和

，μ和Σ也一样，满足下式:

那么有下面的性质成立：

① Normalization

② Marginalization

和

的边缘分布：

也是多元高斯分布，满足：

③ Conditioning

以高斯随机变量作为条件的分布还是高斯分布，比如：

满足：

证明比较繁琐，这里略过，但这个结论对后面的讲解比较重要，大家需要重点关注一下。

④ Summation

相同维度的独立高斯随机变量的和仍然满足高斯分布：

2. Bayesian Linear Regression

设

是训练集，分布未知。

回忆线性回归模型：

这里