随机过程 基本概念和基本类型

随机过程 基本概念和基本类型

基本概念

随机过程 ：定义为概率空间 $(\Omega ,F,P)$ 上的一族随机变量 { X ( t ) ,   t ∈ T } \{X(t),\,t\in T\} {X(t),t∈T} ，其中 $T$ 称为指标集或参数集。

• 随机过程即所研究的无穷多个（可能不是相互独立的）随机变量。
• 通常将随机变量解释为一个物理、自然或社会系统

状态空间：$X(t)$ 表示系统在时刻 t 所处的状态，X(t) 的所有可能状态构成的集合为状态空间，记作 S 。

• 根据 $T$ 的离散或连续取值不同，可以将状态空间分为离散状态空间或连续状态空间；同样随机过程也分为离散参数的随机过程和连续参数的随机过程。

随机序列：当 T = { 0 ,   1 ,   ⋯   } T=\{0,\,1,\,\cdots\} T={0,1,⋯} 时，称为随机序列或时间序列，通常记作 { X ( n ) ,   n ≥ 0 } \{X(n),\,n\geq0\} {X(n),n≥0}

例：（Brown 运动）植物学家 Brown 注意到漂浮在叶面上的微小粒子不断进行无规则的运动，若以 $(X(t),Y(t))$ 表示粒子在平面坐标上的位置，则它是平面上的 Brown 运动。

有限维分布和 Kolmogorov 定理

研究随机现象主要是研究其统计规律性。对于随机过程，我们需要随机过程在不同时刻的多维分布。（不是有限个的分布，而是一族联合分布）。

随机过程的 $n$ 维分布 ：对于有限个 $t_1,t_2,\cdots ,t_n\in T$ ，定义为：
$$F_{t_1,t_2,\cdots ,t_n}(x_1,x_2,\cdots x_n)=P(X(t_1)\le x_1,\cdots X(t_n)\le x_n)$$
有限维分布族 ：随机过程的所有一维分布、二维分布、…… $n$ 维分布的全体：
{ F t 1 ,   t 2 ,   ⋯   ,   t n ( x 1 ,   x 2 ,   ⋯   x n ) ,   t 1 ,   t 2 ,   ⋯   t n ∈ T ,   n ≥ 1 } \{F_{t_1,\,t_2,\,\cdots,\,t_{n}}(x_1,\,x_2,\,\cdots\,x_n),\,t_1,\,t_2,\,\cdots\,t_n\in T,\,n \geq 1\} {Ft1​,t2​,⋯,tn​​(x1​,x2​,⋯xn​),t1​,t2​,⋯tn​∈T,n≥1}

• 对称性：对于某个 $n$ 维分布，随机变量位置的顺序并不影响该分布的取值（相应的时间也要重新排位置）
• 相容性：对于 $m<n$ ，有 $F_{t_1,t_2,\cdots ,t_n}(x_1,x_2,\cdots x_m,\infty ,\cdots ,\infty )=F_{t_1,t_2,\cdots ,t_m}(x_1,x_2,\cdots x_m)$

Kolmogorov 定理 ：设某个分布函数族 { F t 1 ,   t 2 ,   ⋯   ,   t n ( x 1 ,   x 2 ,   ⋯   x n ) ,   t 1 ,   t 2 ,   ⋯   t n ∈ T ,   n ≥ 1 } \{F_{t_1,\,t_2,\,\cdots,\,t_{n}}(x_1,\,x_2,\,\cdots\,x_n),\,t_1,\,t_2,\,\cdots\,t_n\in T,\,n \geq 1\} {Ft1​,t2​,⋯,tn​​(x1​,x2​,⋯xn​),t1​,t2​,⋯tn​∈T,n≥1} 满足上面的对称性和相容性，则必然存在一个随机过程 { X ( t ) ,   t ∈ T } \{ X(t),\,t\in T \} {X(t),t∈T} ，使得该分布函数组恰好是这个随机过程的有限维分布族。

• Kolmogorov 定理说明了随机过程的有限维分布族是随机过程概率特征的完整描述。实际中要知道随机过程的所有有限维分布是不可能的，我们可以用一些数字特征来刻画。

设 { X ( t ) ,   t ∈ T } \{X(t),\,t\in T\} {X(t),t∈T} 是一随机过程：

• 均值函数 ：称 $X(t)$ 的期望 ${\mu }_X(t)=E[X(t)]$ 为过程的均值函数；

• 二阶矩过程 ：若 $\forall t\in T$ ，$E[X^2(t)]$ 都存在，则称该随机过程为二阶矩过程；二阶矩过程的基础上：

  • 协方差函数 ： $\gamma (t_1,t_2)=E[(X(t_1)-{\mu }_X(t_1))(X(t_2)-{\mu }_X(t_2))]$
  • 方差函数： $Var[X(t)]=\gamma (t,t)=E[(X(t)-{\mu }_X(t){)}^2]$
  • 自相关函数：$R_X(s,t)=E(X(s)X(t))$ （$s,t\in T$）

由 Schwartz 不等式知道，二阶矩过程的协方差函数和自相关函数存在，且有 $\gamma (s,t)=R_X(s,t)-{\mu }_X(s){\mu }_X(t)$ （直接展开 $\gamma (s,t)$ 的表达式就可以得到）

例：$X(t)=X_0+tV$ （$t\in [a,b]$），$X_0$ 和 $V$ 是相互独立的、服从标准正态分布的随机变量

解：可知 $X(t)$ 也是服从正态分布的，因此只要知道其一阶矩和二阶矩，就可以确定它的分布。并且 $(X(t_1),X(t_2),\cdots ,X(t_n))$ 服从 $n$ 维正态分布。有：
$$\begin{array}{rl}{\mu }_X(t)=& E[X_0+tV]\\ =& E[X_0]+tE[V]=0\\ \gamma (t_1,t_2)=& E[(X_0+t_{1}V)(X_0+t_{2}V)]\\ =& E(X_0^2)+t_1{t}_{2}E(V^2)=1+t_1{t}_2\end{array}$$

基本类型

平稳过程

平稳过程的定义

平稳过程：该过程处于平稳状态，其主要性质和变量之间的时间间隔有关，与所考察的起始点无关。

严平稳过程：若随机过程 { X ( t ) ,   t ∈ T } \{X(t),\,t\in T\} {X(t),t∈T} 对任意的 $t_1,t_2,\cdots t_n\in T$ 和任意的 $h$ 使 $\forall i\in [1,n]$ $t_i+h\in T$ ，有这间隔 $h$ 的 $n$ 个随机变量分布相同，记为：
$$(X(t_1+h),X(t_2+h),\cdots X(t_n+h))\stackrel{d}{=}(X(t_1),X(t_2),\cdots X(t_n))$$
则称随机过程 { X ( t ) ,   t ∈ T } \{X(t),\,t\in T\} {X(t),t∈T} 是严平稳的

宽平稳过程 ：也称二阶平稳过程，若随机过程 $X(t)$ 的所有二阶矩都存在，并且 $E[X(t)]=\mu$ （均值函数恒为 0），协方差函数 $\gamma (t,s)$ 只与时间差 $t-s$ 有关，则称该过程为宽平稳过程。具有如下特点：

• 因为 $\gamma (s,t)=\gamma (0,t-s)$ ，所以可以直接记为 $\gamma (t-s)$
• $\gamma (t)$ 图形是轴对称分布的，$\gamma (t)=\gamma (-t)$
• $\gamma (0)$ 就是 $X(t)$ 的方差，$\gamma (0)=Var[X(t)]$
• $|\gamma (t)|\le \gamma (0)$ ，$\forall t\in T$
• $\gamma (t)$ 具有非负定性（就是半正定性），即：对任意时刻 $t_k$ 和实数 $a_k$ （$k=1,2,\cdots N$），有：
  $$\sum _{i=1}^N\sum _{j=1}^N{a}_i{a}_j\gamma (t_i-t_j)\ge 0$$
  （以下的平稳过程就是指宽平稳过程）

平稳序列：当参数 t 仅取整数或自然数时，平稳过程称为平稳序列

例：（移动平均/滑动平均序列）设 { ε n ,   n ∈ Z } \{\varepsilon_n,\,n\in Z\} {εn​,n∈Z} 为一两两不相关的有相同均值 $\mu$ 和相同方差 ${\sigma }^2$ 的随机变量序列，$a_1,a_2,\cdots a_k$ 为任意 $k$ 个实数，考虑如下序列：
$$X_n=a_1{\epsilon }_n+a_2{\epsilon }_{n-1}+\cdots +a_k{\epsilon }_{n-k+1}$$
有：
$$E(X_n)=\mu (a_1+a_2+\cdots +a_n)$$
令 ${\xi }_i={\epsilon }_i-\mu$ ，则协方差函数：
$$\begin{array}{l}\gamma (n,n+\tau )\\ =E[(X_n-\mu (a_1+a_2+\cdots +a_n))(X_{n+\tau }-\mu (a_1+a_2+\cdots +a_n))]\\ =E[(a_1{\xi }_n+a_2{\xi }_{n-1}+\cdots +a_k{\xi }_{n-k+1})(a_1{\xi }_{n+\tau }+a_2{\xi }_{n+\tau -1}+\cdots +a_k{\xi }_{n+\tau -k+1})]\end{array}$$
注意到 $E[{\xi }_i{\xi }_j]=\{\begin{array}{ll}0& i\ne j\\ {\sigma }^2& i=j\end{array}$ ，所以：
$$=\{\begin{array}{lc}{\sigma }^2(a_k{a}_{k-\tau }+a_{k-1}{a}_{k-\tau -1}+\cdots +a_{\tau +1}{a}_1)& \tau <k\\ 0& \tau \ge k\end{array}$$
因此协方差函数 $\gamma (\tau )$ 仅与时间间隔 $\tau$ 有关，故 $X_n$ 是平稳序列

平稳过程的遍历性

何种条件下，平稳过程对时间的平均值可以等于过程的均值？对于某个平稳过程，最重要的是确定其均值 $\mu$ 和协方差函数 $\gamma$ 。为估计这两个量，我们可以对随机过程 $Xn$ 作大量观察，以 $X_j(t)$ 作为第 $j$ 次观察中时刻 $t$ 的值。由大数定律知，可以做出如下估计：
$$\begin{array}{l}\hat{\mu }=\frac{1}{n}(X_1(t)+X_2(t)+\cdots +X_n(t))\\ \hat{\gamma }(\tau )=\frac{1}{n}\sum _{k=1}^{n}E[(X_k(t+\tau )-\hat{\mu })(X(t)-\hat{\mu })]\end{array}$$
但是对某一随机过程做多次观测是难以做到的，更容易做到的是对某一随机过程仅做一次观测，得到一条样本路径。对于平稳序列，只要加上一些条件，就可以一次观测中估计 $\mu$ 和 $\gamma$ ，这就是平稳序列的遍历性。

遍历性：设 X = { X ( t ) ,   − ∞ < t < ∞ } X=\{X(t),\,-\infty<t<\infty\} X={X(t),−∞<t<∞} 是一平稳过程/序列，均值为 $\mu$ ，若 $X$ 满足（连续参数随机过程）：
$$\bar{X}=\underset{T\to \infty }{\lim }\frac{1}{2T}{\int }_{-T}^{T}X(t)dt=\mu$$
或者（离散参数随机过程）：
$$\bar{X}=\underset{N\to \infty }{\lim }\frac{1}{2N+1}\sum _{k=-N}^{N}X(k)=\mu$$
则称 $X$ 的均值具有遍历性。这里的极限指的是均方意义下的极限，即：
$$\underset{T\to \infty }{\lim }E\left[{\left|\frac{1}{2T}{\int }_{-T}^{T}X(t)dt-\mu )\right|}^2\right]=0$$
如果（连续参数随机过程）：
$$\bar{\gamma }(\tau )=\underset{T\to \infty }{\lim }\frac{1}{2T}{\int }_{-T}^T(X(t+\tau )-\mu )(X(t)-\mu )dt=\gamma (\tau )$$
或者（离散参数随机过程）：
$$\bar{\gamma }(\tau )=\underset{N\to \infty }{\lim }\frac{1}{2N+1}\sum _{k=-N}^N(X(k+\tau )-\mu )(X(k)-\mu )=\gamma (\tau )$$
则称 $X$ 的协方差具有遍历性，极限同样是均方意义下的极限。若一个随机过程同时具有均值遍历性和协方差遍历性，则称该随机过程具有遍历性。

（当上述参数集为非负数时，相应的积分区间和求和区间需要改成 $\underset{0}{\overset{T}{\int }}$ 和 $\sum _{k=0}^N$ ）

均值遍历性定理：分为离散和连续的情况

• 设 X = { X n ,   n ∈ Z } X=\{X_n,\,n\in Z\} X={Xn​,n∈Z} 是平稳序列，其协方差函数为 $\gamma (\tau )$ ，则 $X$ 的均值具有遍历性质的充要条件为：

$$\underset{N\to \infty }{\lim }\frac{1}{N}\sum _{\tau =0}^{N-1}\gamma (\tau )=0$$

• 设 X = { X t ,   − ∞ < t < ∞ } X=\{X_t,\,-\infty < t < \infty\} X={Xt​,−∞<t<∞} 是平稳过程，其协方差函数为 $\gamma (\tau )$ ，则 $X$ 的均值具有遍历性质的充要条件为：

$$\underset{T\to \infty }{\lim }\frac{1}{T}{\int }_0^{2T}(1-\frac{\tau }{2T})\gamma (\tau )d\tau =0$$

证明：离散和连续的情况证明方法相同，这里证明连续时间的均值遍历性定理：

这里首先计算 $\bar{X}$ 的均值和方差，记：
$${\bar{X}}_T=\frac{1}{2T}{\int }_{-T}^{T}X(t)dt$$
有：（最后一步是因为 $E(X(t))=\mu$ ）
$$E(\bar{X})=E(\underset{T\to \infty }{\lim }{\bar{X}}_T)=\underset{T\to \infty }{\lim }E({\bar{X}}_T)=\underset{T\to \infty }{\lim }\frac{1}{2T}{\int }_{-T}^{T}E(X(t))dt=\mu$$

进而：
$$\begin{array}{rl}Var(\bar{X})=& E[(\bar{X}-E(\bar{X}){)}^2]\\ =& E\left\{{\left[\underset{T\to \infty }{\lim }\frac{1}{2T}{\int }_{-T}^T(X(t)-\mu )dt\right]}^2\right\}\\ =& \underset{T\to \infty }{\lim }\frac{1}{4T^2}E\left\{{\left[{\int }_{-T}^T(X(t)-\mu )dt\right]}^2\right\}\\ =& \underset{T\to \infty }{\lim }\frac{1}{4T^2}{\int }_{-T}^T{\int }_{-T}^{T}E[(X(t)-\mu )(X(s)-\mu )]dtds\\ =& \underset{T\to \infty }{\lim }\frac{1}{4T^2}{\int }_{-T}^T{\int }_{-T}^T\gamma (t-s)dtds\end{array}$$
上述积分中做变量替换，$\{\begin{array}{l}\tau =t-s\\ v=t+s\end{array}$ ，Jacobi 行列式为： $J={\left|\begin{array}{cc}1& -1\\ 1& 1\end{array}\right|}^{-1}=\frac{1}{2}$ ；上述式子可变为：
$$\begin{array}{rl}Var(\bar{X})=& \underset{T\to \infty }{\lim }\frac{1}{8T^2}{\int }_{-2T}^{2T}\gamma (\tau )d\tau {\int }_{-(2T-|\tau |)}^{2T-\tau }dv\\ =& \underset{T\to \infty }{\lim }\frac{1}{4T^2}{\int }_{-2T}^{2T}\gamma (\tau )(2T-|\tau |)d\tau \\ =& \underset{T\to \infty }{\lim }\frac{1}{2T^2}{\int }_0^{2T}\gamma (\tau )(2T-\tau )d\tau \\ =& \underset{T\to \infty }{\lim }\frac{1}{T}{\int }_0^{2T}(1-\frac{\tau }{2T})\gamma (\tau )d\tau \end{array}$$
在均方收敛的意义下，满足均值遍历性的条件为：
$$\begin{array}{rl}0=& \underset{T\to \infty }{\lim }E\left[{\left|\frac{1}{2T}{\int }_{-T}^{T}X(t)dt-\mu )\right|}^2\right]\\ =& \underset{T\to \infty }{\lim }E\left[({\bar{X}}_T-\mu {)}^2\right]\\ =& E\left[\underset{T\to \infty }{\lim }({\bar{X}}_T-\mu {)}^2\right]\\ =& E\left[(\bar{X}-E(\bar{X}){)}^2\right]=Var(\bar{X})\end{array}$$
因此是否满足均值遍历性和 $Var(\bar{X})$ 是否为 $0$ 等价，即与 ${\lim }_{T\to \infty }\frac{1}{T}{\int }_0^{2T}(1-\frac{\tau }{2T})\gamma (\tau )d\tau$ 是否为 $0$ 等价。

由均值遍历性定理可以得出两个推论：

• 推论一：若 ${\int }_{-\infty }^{\infty }|\gamma (\tau )|d\tau <\infty$ ，则均值遍历性定理成立

证明：上述对 $(1-\frac{\tau }{2T})\gamma (\tau )$ 的积分中，$\tau$ 的取值范围为 $[0,2T]$ ，因此 $0\le (1-\frac{\tau }{2T})\le 1$ ，故 $\left|(1-\frac{\tau }{2T})\gamma (\tau )\right|<|\gamma (\tau )|$ ，因此：
$$\begin{array}{rl}|Var(\bar{X})|=& \underset{T\to \infty }{\lim }\frac{1}{T}\left|{\int }_0^{2T}(1-\frac{\tau }{2T})\gamma (\tau )d\tau \right|\\ \le & \underset{T\to \infty }{\lim }\frac{1}{T}{\int }_0^{2T}\left|\gamma (\tau )\right|d\tau \\ \le & \underset{T\to \infty }{\lim }\frac{1}{T}{\int }_0^{\infty }\left|\gamma (\tau )\right|d\tau =0\end{array}$$

• 推论二：对平稳序列而言，若 $\gamma (\tau )\to 0(\tau \to \infty )$ ，则均值遍历性定理成立

证明：若 $\gamma (\tau )\to 0(\tau \to \infty )$ ，则由 Stolz 定理知：

令 $b_N=N$ ，$a_N=\sum _{=0}^{N-1}$ ，有：
$$\underset{N\to \infty }{\lim }\frac{a_{N+1}-a_N}{b_{N+1}-b_N}=\underset{N\to \infty }{\lim }\frac{\gamma (N)}{1}=0$$
故：
$$\underset{N\to \infty }{\lim }\frac{1}{N}\sum _{\tau =0}^{N-1}\gamma (\tau )=\underset{N\to \infty }{\lim }\frac{a_N}{b_N}=0$$
协方差遍历性定理：设 X = { X t ,   − ∞ < t < ∞ } X=\{X_t,\,-\infty<t<\infty\} X={Xt​,−∞<t<∞} 是平稳过程，其均值函数为零，则协方差矩阵具有遍历性的充分必要条件为：
$$\underset{T\to \infty }{\lim }\frac{1}{T}{\int }_0^{2T}(1-\frac{{\tau }_1}{2T})[B({\tau }_1)-{\gamma }^2(\tau )]d{\tau }_1=0$$
其中 $B({\tau }_1)=E[X(t+\tau +{\tau }_1)X(t+\tau )X(t+{\tau }_1)X(t)]$

例：设 $X(t)=a\cos (wt+\theta )$ ，$\theta \sim U(0,2\pi )$ ，$w\ne 0$ ，则 X = { X t ,   − ∞ < t < ∞ } X=\{X_t,\,-\infty<t<\infty \} X={Xt​,−∞<t<∞} 的均值有遍历性

证明：其均值函数为：
$$E(X(t))=\frac{1}{2\pi }{\int }_0^{2\pi }a\cos (wt+\theta )d\theta =0$$
其协方差函数为：
$$\begin{array}{rl}\gamma (\tau )=& E[X(t+\tau )X(t)]\\ =& a^{2}E[\cos (wt+w\tau +\theta )\cos (wt+\theta )]\\ =& \frac{1}{2}{a}^{2}E[\cos (2wt+2\theta +w\tau )+\cos (w\tau )]\\ =& \frac{a^2}{4\pi }{\int }_0^{2\pi }(\cos (2wt+2\theta +w\tau )+\cos (w\tau ))d\theta \\ =& \frac{a^2}{2}\cos (w\tau )\end{array}$$
因此该过程是平稳过程，由于：
$$\underset{T\to \infty }{\lim }\frac{1}{T}{\int }_0^{2T}(1-\frac{\tau }{2T})\gamma (\tau )d\tau =\underset{T\to \infty }{\lim }\frac{a^2}{2T}{\int }_0^{2T}(1-\frac{\tau }{2T})\cos (w\tau )d\tau$$
分部积分：
$$=\frac{a^2}{2Tw}\sin 2Tw+\frac{a^2}{4T^2}{\int }_0^{2T}\cos w\tau d\tau =\frac{a^2}{2Tw}\sin 2Tw+\frac{a^2}{4T^{2}w}\sin 2Tw\to 0$$
由均值遍历性定理得， $X$ 满足均值遍历性

独立增量过程

虽然 $X(t)$ 之间常常不是相互独立的，但人们发现许多过程的增量式相互独立的，我们称之为独立增量过程。

独立增量过程：对任意 $t_1,t_2,\cdots ,t_n\in T$ ，$t_1<t_2<\cdots <t_n$ ，随机变量 $X(t_2)-X(t_3)$ ，$X(t_3)-X(t_4)$ $\cdots$ $X(t_n)-X(t_{n-1})$ 是相互独立的，则称 { X ( t ) ,   t ∈ T } \{X(t),\,t\in T\} {X(t),t∈T} 为独立增量过程。

平稳增量过程：对任意 $t_1$ ，$t_2$ ，有 $X(t_1+h)-X(t_1)\stackrel{d}{=}X(t_2-h)-X(t_2)$ ，则称 { X ( t ) ,   t ∈ T } \{X(t),\,t\in T\} {X(t),t∈T} 是平稳增量过程

平稳独立增量过程：兼有独立增量和独立增量的过程称为平稳独立增量过程。

假设随机过程 $X(t)$ 的特征函数为 ${\psi }_{X(t)}(a)=E[e^{iaX(t)}]$ ，有如下定理：设 { X ( t ) ,   t ≥ 0 } \{X(t),\,t\geq 0\} {X(t),t≥0} 是一个独立增量过程，则 $X(t)$ 具有平稳增量的充分必要条件为，其特征函数具有可乘性，即：
$${\psi }_{X(t+s)}(a)={\psi }_{X(t)}(a){\psi }_{X(s)}(a)$$
平稳独立增量过程的均值函数一定是时间 $t$ 的线性函数。Poisson 过程和 Brown 运动都是这类过程。