02.第二章 随机过程基本概念

第二章 随机过程基本概念

1.随机过程的定义，分布

假设$(\Omega ,\mathcal{A},P)$是概率空间，$T$是指标集，$\mathcal{E}$是点集。称一族随机变量$X(\omega ,t):\Omega \to \mathcal{E},t\in T$为随机过程，记作$\mathbf{X}=(X(t),t\in T)$。这里$T$是时间参数空间，$\mathcal{E}$为状态空间。简略起见，$\mathbf{X}$在时间$t$时刻的随机变量记作$X(t)$或$X_t$。

• 时间参数空间$T$一般有$\mathbb{R},{\mathbb{R}}^{+},[0,1],\mathbb{Z},{\mathbb{Z}}^{+},\mathbb{N}$等，它们都有自然的“序”关系。
• 任给一个$\omega \in \Omega$，$X(\omega ,\cdot )$为样本曲线。也就是说，样本曲线是随机过程在$T$上的一次观测。

既然随机过程是一族随机变量按照某种序关系排列而成，那么随机过程也拥有其概率分布。以$\mathcal{E}=\mathbb{R},T=\mathbb{R}$为例，随机过程有如下的有限维分布：

1. 一维分布：给定$t\in T$，$X(t)$的分布函数为
   $$F_t(x)=P(X(t)\le x);$$

2. 二维分布：给定$s,t\in T$，$(X(s),X(t))$的联合分布为
   $$F_{s,t}(x,y)=P(X(s)\le x,X(t)\le y);$$

3. $k$维分布：给定$t_1,\cdots ,t_k\in T$，$(X(t_1),\cdots ,X(t_k))$的联合分布为
   $$F_{t_1,\cdots ,t_k}(x_1,\cdots ,x_k)=P(X(t_1)\le x_1,\cdots ,X(t_k)\le x_k).$$

有限维分布并不容易计算，对于某些特殊情况，可以用其他方法计算。

• 如果$X(t_1),X(t_2)-X(t_1),\cdots ,X(t_k)-X(t_{k-1})$的联合分布容易计算，则可以通过$|J|=1$的线性变换得到$k$维分布。
  $$\{\begin{array}{rl}X(t_1)=& X(t_1),\\ X(t_2)=& X(t_1)+[X(t_2)-X(t_1)],\\ \cdots & \cdots \\ X(t_k)=& X(t_1)+[X(t_2)-X(t_1)]+\cdots +[X(t_k)-X(t_{k-1})].\end{array}$$

• 如果容易计算条件概率，则可以由链式法则计算联合分布。
  $$\begin{array}{rl}& P(X(t_1)=x_1,\cdots ,X(t_k)=x_k)\\ =& P(A_1\cdots A_k)\\ =& P(A_1)P(A_2|A_1)\cdots P(A_k|A_{k-1}{A}_{k-2}\cdots A_1)\end{array}$$

2.随机过程的数字特征，特殊过程

随机过程也有类似于随机变量的数字特征，它更多地定义在时间参数空间上。下面是单随机过程$\mathbf{X}$的一些数字特征。

• 均值函数：假设对每一个$t\in T,E|X(t)|<\infty$，则称
  $${\mu }_X(t)=E[X(t)],t\in T$$
  为$\mathbf{X}$的均值函数。

• 方差函数：假设对每一个$t\in T,E(X(t){)}^2<\infty$，则称
  $${\sigma }_X^2(t)=D(X(t)),t\in T$$
  为$\mathbf{X}$的方差函数。

• 自相关函数与自协方差函数：对于$s,t\in T$，定义自相关函数与自协方差函数分别为
  $$\begin{gathered} r_X(s,t)=E[X(s)X(t)],s,t\in T \\ Cov(X(s),X(t))=r_X(s,t)-{\mu }_X(s){\mu }_X(t),s,t\in T \end{gathered}$$

对于两个随机过程$\mathbf{X},\mathbf{Y}$，定义互相关函数为
$$r_{X,Y}(s,t)=E[X(s)Y(t)],s,t\in T$$
依托于以上数字特征，可以定义一些特殊的随机过程类。

• 宽平稳过程：对于二阶矩过程$\mathbf{X}$即$\forall t\in T,E(X(t){)}^2<\infty$，如果满足

  1. ${\mu }_X(t)=\mu$，即均值函数为常数；
  2. $r_X(s,t)={\tau }_X(s-t)$，即自相关函数只是时间差的函数；

  则这样的随机过程称为宽平稳过程。

• 严平稳过程：对于随机过程$\mathbf{X}=(X(t),t\in T)$（没有二阶矩要求），如果对任意$k\ge 1$，$t_1,\cdots ,t_k\in T$以及$t\in T$，都有
  $$(X(t_1+t),\cdots ,X(t_k+t))\stackrel{d}{=}(X(t_1),\cdots ,X(t_n))$$
  则这样的随机过程称为严平稳过程。

  如果强平稳过程的二阶矩存在且有限，那么它一定是弱平稳过程。

• 平稳增量过程：对于随机过程$\mathbf{X}=(X(t),t\in T)$是一个随机过程，对任意$s<t$，如果$X(t)-X(s)$的分布仅依赖于时间差$t-s$，则称$\mathbf{X}$为平稳增量过程。

• 独立增量过程：对于随机过程$\mathbf{X}=(X(t),t\in T)$是一个随机过程，对于任何$k\ge 1$和$t_1<\cdots <t_k$，有
  $$X(t_1),X(t_2)-X(t_1),\cdots ,X(t_k)-X(t_{k-1})$$
  相互独立，则称$\mathbf{X}$为独立增量过程。

• 正态过程：令$\mathbf{X}=(X(t),t\in T)$是随机过程，如果其任意有限维分布为联合正态分布，则称$\mathbf{X}$为正态过程，也称为高斯过程。

  对任何$t_1,\cdots ,t_k$，$(X(t_1),\cdots ,X(t_k))$服从联合正态分布当且仅当其任意线性组合${\sum }_{i=1}^k{a}_{i}X(t_i)$服从正态分布。

  由于联合正态分布由均值向量与协方差矩阵唯一确定，所以宽平稳正态过程一定是严平稳正态过程。

• 白噪声：令$\mathbf{X}=(X(t),t\in T)$是零均值随机过程，${\mu }_X(t)=0$，如果对任意$s\ne t$都有$r_X(s,t)=0$，则$\mathbf{X}$为白噪声。