【深度学习-笔记】(2)--高斯过程&高斯回归

【深度学习-笔记】(2)–高斯过程&高斯回归

个人笔记，记录思考过程，已注明参考文献。
如果你看不懂他，可以试着先去接受他。就好像，打不过就加入。

一、高斯分布（正态分布）

高斯分布（正态分布）是一个常见的连续概率分布。
正态分布的数学期望值或期望值$\mu$等于位置参数，决定了分布的位置；其方差${\sigma }^2$的开平方或标准差σ等于尺度参数，决定了分布的幅度。正态分布的概率密度函数曲线呈钟形，因此人们又经常称之为钟形曲线（类似于寺庙里的大钟，因此得名）。

我们通常所说的标准正态分布是位置参数$\mu =0$，方差${\sigma }^2=1$的正态分布。

1. 一元高斯分布

若随机变量X服从一个位置参数为$\mu$，方差为${\sigma }^2$的正态分布，可以记为$X$~$N(\mu ,{\sigma }^2)$，则其概率密度函数为：
$$f(x)=\frac{1}{\sigma \sqrt{2\pi }}\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$$
其中，$\mu$和${\sigma }^2$的求法不再赘述。

2. 多元（二元及以上）高斯分布

这里以二元高斯分布为例： 二维高斯分布则包含有两个变量，二维高斯分布的均值$\mu$由两个变量的均值描述，其方差由变量的协方差矩阵进行描述，协方差矩阵$\Sigma$表示的是两个变量之间的关系（标准差和方差一般是用来描述一维数据的，而面对二维数据，则使用协方差来表示）：
$$\mu =\left(\begin{array}{l}{\mu }_a\\ {\mu }_b\end{array}\right)\Sigma =\left(\begin{array}{cc}{\sigma }_x^2& \rho {\sigma }_x{\sigma }_y\\ \rho {\sigma }_x{\sigma }_y& {\sigma }_y^2\end{array}\right)$$
其中，$\rho {\sigma }_x{\sigma }_y$和$\rho {\sigma }_x{\sigma }_y$分别为两个变量的协方差值。协方差的计算公式为：
$$\begin{array}{rl}\mathrm{Cov}(X,Y)& =E[(X-E(X)(Y-E(Y)]\\ & =E[XY]-E[X]E[Y]\end{array}$$
其中，若为一维数据，协方差可以表示为：
$$\mathrm{cov}(X)=\frac{{\sum }_{i=1}^n\left(X_i-\bar{X}\right)\left(X_i-\bar{X}\right)}{n-1}=\frac{{\sum }_{i=1}^n{\left(X_i-\bar{X}\right)}^2}{n-1}$$
其实就是方差公式。而对于多维数据，为度量各个维度偏离其均值的程度，协方差可以表示为：
$$\Sigma =\mathrm{cov}(X,Y)=\frac{{\sum }_{i=1}^n\left(X_i-\bar{X}\right)\left(Y_i-\bar{Y}\right)}{n-1}$$
这里Σ是对称正定的n × n矩阵。具体计算可参考协方差计算。最后，二元高斯随机变量$x$~$N(\mu ,\Sigma )$，其概率密度可以表示为：
$$P(x;\mu ,\Sigma )=\frac{1}{{(2\pi )}^{n/2}{|\Sigma |}^{1/2}}\exp \left(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )\right)$$
其中
$$x=\left[\begin{array}{l}{x}_A\\ x_B\end{array}\right]\mu =\left[\begin{array}{l}{\mu }_A\\ {\mu }_B\end{array}\right]\Sigma =\left[\begin{array}{ll}{\Sigma }_{AA}& {\Sigma }_{AB}\\ {\Sigma }_{BA}& {\Sigma }_{BB}\end{array}\right]。$$

二、高斯过程

高斯过程是指随机变量的一个集合，其中任意有限个样本的线性组合都有一个联合高斯分布。
一个高斯过程是由均值函数$m(x)$和协方差函数$k(x,x^{\ast })$确定的。它可理解成高斯分布的一个生成过程。高斯分布的均值和协方差是向量和矩阵（意思就是多维高斯分布的均值和方差是确定的值，比如均值是(0.1,0.2,0.5)。），而高斯过程的均值和方差则分别是均值函数和协方差矩阵函数。
1.有限域
设$X=$ {$x_1,...,x_m$}是任意有限集（定义域有限），考虑所有可能的$f:X\to R$所组成的函数集合$H$，那么得到的$f$也是有限的，用集合来表示：
$$\vec{f}={\left[\begin{array}{llll}f\left(x_1\right)& f\left(x_2\right)& \cdots & f\left(x_m\right)\end{array}\right]}^T$$
那么有限域的高斯过程为：
$$\vec{f}\sim \mathcal{N}\left(\vec{\mu },{\sigma }^{2}I\right)$$
其中，$I$为单位矩阵。$\vec{\mu }=E(f(x))$
表达式为：
$$p(h)=\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{1}{2{\sigma }^2}{\left(f\left(x_i\right)-{\mu }_i\right)}^2\right)$$
2.无限域
无限域体现在由$X$组成的集合中，$x$是随机的，有无限多的组合。假设有一个随机变量的集合：{ $f(x):x\in X$}，这里定义高斯过程是一个随机过程，满足随机变量集合的任意有限子集都服从多元高斯分布。那么设定均值函数$m(x)$和协方差函数$k(x_1,x_2)$。
如果随机变量集合：$f(x):x\in X$是从均值函数为$m$、协方差函数为$k$的高斯过程中取出的变量集，那么对于任意有限集合：$x_1,...,x_m\in X$，它们相对应的随机变量$f(x_i)$服从高斯分布：
$$\left[\begin{array}{c}f\left(x_1\right)\\ ⋮\\ f\left(x_m\right)\end{array}\right]\sim \mathcal{N}\left(\left[\begin{array}{c}m\left(x_1\right)\\ ⋮\\ m\left(x_m\right)\end{array}\right],\left[\begin{array}{ccc}k\left(x_1,x_1\right)& \cdots & k\left(x_1,x_m\right)\\ ⋮& \ddots & ⋮\\ k\left(x_m,x_1\right)& \cdots & k\left(x_m,x_m\right)\end{array}\right]\right)$$
记为：
$$f(x)\sim GP(m(x),k(x,x^{\prime }))$$
其中，均值和协方差记为：
$$\begin{gathered} m(x)=E[x] \\ k(x,x^{\prime })=E[(x-m(x))(x^{\prime }-m(x^{\prime }))] \end{gathered}$$
☆☆☆扩展矩阵的协方差：（待更新）。

三、高斯过程回归（Gauss Process Regression，GPR）（待更新）

设$L$为训练集，训练数据独立同分布，分布未知，我们定义高斯过程回归模型(Gaussian Process Regression，以下简称GPR)的表达式为：

高斯核：$$k\left(X,X^{\ast }\right)={\sigma }^2\exp \left(-\frac{{\Vert X-X^{\ast }\Vert }^2}{2l^2}\right)$$
其中$\sigma$和$l$为超参数。

参考文献

高斯分布
如何通俗易懂地介绍 Gaussian Process？
高斯过程和高斯过程回归
高斯过程回归（Gaussian Process Regression）
多元高斯分布（The Multivariate normal distribution）
【吴恩达】斯坦福AI大牛带你吃透机器学习！
机器学习中的高斯过程
图文详解高斯过程（一）——含代码
高斯过程 Gaussian Processes 原理、可视化及代码实现
1.7. 高斯过程(Gaussian Processes)