高斯过程

高斯过程

正态分布的基本概念

• n维正态分布$\vec{X}\sim N(\vec{\mu },\Sigma )$

$f(\vec{x})=\frac{1}{(2\pi {)}^{n/2}(\det \Sigma {)}^{1/2}}{e}^{-\frac{1}{2}(\vec{x}-\vec{\mu }{)}^T{\Sigma }^{-1}(\vec{x}-\vec{\mu })}$

• 对正态来说：独立$⟺$不相关。所以可以从协方差矩阵来判断正态分布的随机变量是不是独立。
• 正态随机变量线性变换后依旧是正态。

$\vec{Y}=C\vec{X}⟹Y\sim N(C\vec{\mu },C\Sigma C^T)$

• n维正态$⟹$每个分量都是正态的
• 每个分量都是正态的且相互独立$⟹$n维正态
• 对于联合高斯分布，这个计算四阶矩的公式非常有用：

$$E(X_1{X}_2{X}_3{X}_4)=E(X_1{X}_2)E(X_3{X}_4)+E(X_1{X}_3)E(X_2{X}_4)+E(X_1{X}_4)E(X_2{X}_3)-2E(X_1)E(X_2)E(X_3)E(X_4)$$

• 有时二维联合正态分布还会这样表示：$N({\mu }_1,{\mu }_2,\rho ,{\sigma }_1^2,{\sigma }_2^2)$

也就是$\vec{\mu }=\left(\begin{array}{c}{\mu }_1\\ {\mu }_2\end{array}\right),\Sigma =\left(\begin{array}{cc}{\sigma }_1^2& \rho {\sigma }_1{\sigma }_2\\ \rho {\sigma }_1{\sigma }_2& {\sigma }_2^2\end{array}\right)$

高斯过程的基本概念

• 定义：随机过程$\xi (t)$的任意有限维分布都是正态分布。
• 正态过程是二阶矩过程。
• 对于正态过程来说，宽平稳和严平稳是等价的。
• 如果正态过程是均方可导的，那它的导数过程也是正态过程。
• 如果正态过程是均方可积的，那它的积分过程也是正态过程。
• 均值为零的实正态过程具有马氏性$⟺$对于任意三个时刻$0\le t_1<t_2<t_3$有，$\rho (t_1,t_3)=\rho (t_1,t_2)\rho (t_2,t_3)$。

其中$\rho (s,t)=\frac{R(s,t)}{\sqrt{R(s,s)R(t,t)}}$，也就是s和t时刻的相关系数。

例题

• $X(t)$正态过程，写出$(X(t)X(t+\tau )X^{{}^{\prime }}(t)X^{{}^{\prime }}(t+\tau ))$的协方差矩阵。

$$\left(\begin{array}{cccc}{R}_{XX}(0)& R_{XX}(-\tau )& R_{X{X}^{\prime }}(0)& R_{X{X}^{\prime }}(-\tau )\\ R_{XX}(\tau )& R_{XX}(0)& R_{X{X}^{\prime }}(\tau )& R_{X{X}^{\prime }}(0)\\ R_{X^{\prime }X}(0)& R_{X^{\prime }X}(-\tau )& R_{X^{\prime }{X}^{\prime }}(0)& R_{X^{\prime }{X}^{\prime }}(-\tau )\\ R_{X^{\prime }X}(\tau )& R_{X^{\prime }X}(0)& R_{X^{\prime }{X}^{\prime }}(\tau )& R_{X^{\prime }{X}^{\prime }}(0)\end{array}\right)$$

又因为

$R_{X^{(n)}{X}^{(m)}}(t,s)=\frac{{\partial }^{(n+m)}}{\partial t^n\partial s^m}{R}_{XX}(t,s)$

所以

$R_{X{X}^{\prime }}(t,s)=\frac{\partial }{\partial s}{R}_{XX}(t,s),R_{X{X}^{\prime }}(\tau )=-\frac{d}{d\tau }{R}_{XX}(\tau )$

$R_{X^{\prime }X}(t,s)=\frac{\partial }{\partial t}{R}_{XX}(t,s),R_{X^{\prime }X}(\tau )=\frac{d}{d\tau }{R}_{XX}(\tau )$

$R_{X^{\prime }{X}^{\prime }}(t,s)=\frac{{\partial }^2}{\partial t\partial s}{R}_{XX}(t,s),R_{X^{\prime }{X}^{\prime }}(\tau )=-\frac{d^2}{d{\tau }^2}{R}_{XX}(\tau )$

又实高斯过程的自相关函数对称，即$R_{XX}(\tau )=R_{XX}(-\tau )$，所以得到：
$$\left(\begin{array}{cccc}{R}_{XX}(0)& R_{XX}(\tau )& R_{XX}^{\prime }(0)=0& R_{XX}^{\prime }(\tau )\\ R_{XX}(\tau )& R_{XX}(0)& -R_{XX}^{\prime }(\tau )& R_{XX}^{\prime }(0)=0\\ R_{XX}^{\prime }(0)=0& -R_{XX}^{\prime }(\tau )& -R_{XX}^{\prime \prime }(0)& -R_{XX}^{\prime \prime }(\tau )\\ R_{XX}^{\prime }(\tau )& R_{XX}^{\prime }(0)=0& -R_{XX}^{\prime \prime }(\tau )& -R_{XX}^{\prime \prime }(0)\end{array}\right)$$
因为是实矩阵，所以$R_{XY}(\tau )=E(X(t)Y(t+\tau ))=R_{YX}(-\tau )$

所以为了直观，改下标就行，时间直接用正的$\tau$，这样可以避免后面再考虑函数的奇偶性。

• 证明是不是正态过程的题：

只要证明任意维分布服从高斯分布即可：任取$(\xi (t_1),\xi (t_2),\cdots ,\xi (t_n){)}^T$，证明它是一组相互独立的正态随机变量的线性组合。