【随机过程】第二章——随机过程概论

教学内容

• 第一章 随机过程概论

  • 预备知识

• 第二章 随机过程概论

  • 随机过程的基本概念
  • 分布律和数字特征
  • 几种重要的随机过程

• 第三章 泊松过程

  • 泊松过程
  • 非齐次泊松过程
  • 复合泊松过程
  • 泊松过程的应用

• 第四章 马尔可夫链

  • MC的概念及转移概率
  • MC的状态分类
  • 状态空间的分解
  • $P_{ij}(n)$的渐近性质与平稳分布
  • 嵌入马尔可夫链

• 第五章 连续时间的马尔可夫链

  • 连续时间的MC
  • 柯尔莫哥洛夫微分方程
  • 生灭过程
  • 布朗运动
  • 向后与向前扩散方程

• 第六章 平稳随机过程

  • 平稳过程的概念与例子
  • 联合平稳过程及相关函数性质
  • 随机分析
  • 平稳过程的各态历经性

• 第七章 平稳随机过程的谱分析

  • 平稳过程的谱密度
  • 谱密度的性质
  • 窄带过程及白噪声过程的功率
  • 谱密度

随机过程的定义

设$(\Omega ,\mathcal{F},P)$是概率空间， $T$是指标参数集，若对每个$t\in T$ ，有一个随机变量 $\xi (t,w)\triangleq {\xi }_t(w)$ 与之对应，则称随机变量族 { ξ t ( ω ) , t ∈ T } \{\xi_t(\omega),t\in T\} {ξt​(ω),t∈T} 是概率空间上的随机过程。称 ${\xi }_t(\omega )$的所有可能状态所构成的集合为状态空间，记为$S$。

• Bernoulli过程、正弦波过程

随机过程的分类

根据时间参数集$T$的性质，随机过程可分为两类：

• 离散时间的随机过程
• 连续时间的随机过程

根据状态空间集$S$的性质，随机过程可分为两类：

• 离散状态的随机过程
• 连续状态的随机过程

同时考虑$T$和$S$：

• 离散时间离散状态的随机过程（Bernoulli过程、随机游动）
• 离散时间连续状态的随机过程（股市每日的最高价格）
• 连续时间离散状态的随机过程（Possion过程）
• 连续时间连续状态的随机过程（Brown过程）

随机过程的研究途径

• 概率分析(Markov过程、扩散过程)
• 时域分析(平稳过程、二阶矩过程)

有限维分布族

假设 { ξ t ( ω ) , t ∈ T } \{\xi_t(\omega),t\in T\} {ξt​(ω),t∈T} 是概率空间 $(\Omega ,\mathcal{F},P)$上的随机过程，对任意的自然数$n$ ，以及 $T$中任意个 $t_1,t_2,\dots ,t_n$ ，记 F t 1 , t 2 , … , t n ( x 1 , x 2 , … , x n ) = P { ξ ( t 1 ) < x 1 , ⋯   , ξ ( t n ) < x n } F_{t_1,t_2,\dots,t_n}(x_1,x_2,\dots,x_n)=P\{\xi(t_1)<x_1,\cdots,\xi(t_n)<x_n\} Ft1​,t2​,…,tn​​(x1​,x2​,…,xn​)=P{ξ(t1​)<x1​,⋯,ξ(tn​)<xn​} 即 $F_{t_1,t_2,\dots ,t_n}$ 是$n$维随机向量$(\xi (t_1),\cdots ,\xi (t_n))$的联合分布，称为随机过程 { ξ t ( ω ) , t ∈ T } \{\xi_t(\omega),t\in T\} {ξt​(ω),t∈T} 的一有限维分布。称函数族 { F t 1 , t 2 , … , t n ( x 1 , x 2 , … , x n ) : n ∈ N , t 1 , ⋯   , t n ∈ T } \{F_{t_1,t_2,\dots,t_n}(x_1,x_2,\dots,x_n):n\in N, t_1,\cdots,t_n\in T\} {Ft1​,t2​,…,tn​​(x1​,x2​,…,xn​):n∈N,t1​,⋯,tn​∈T} 为随机过程 { ξ t ( ω ) , t ∈ T } \{\xi_t(\omega),t\in T\} {ξt​(ω),t∈T} 的有限维分布族。

有限维分布族的性质

• 对称性
• 相容性

柯尔莫哥洛夫定理

定理说明了随机过程的有限维分布族包含了其所有概率信息。因此，可通过有限维分布函数族来研究随机过程的统计特征。

• 例题：随机游动、脉冲数字信号系统(离散型、随机型)

随机过程的数字特征(必考)

• 均值(m)、方差、 协方差、相关函数
• 例题：三角函数(应用微积分知识)、随机电报信号

两个随机过程的联合分布和数字特征

二维随机过程的联合分布函数

设 { X ( t ) , t ∈ T } \{X(t), t\in T\} {X(t),t∈T}和 { Y ( t ) , t ∈ T } \{Y(t), t\in T\} {Y(t),t∈T}是两个随机过程，称 { X ( t ) , Y ( t ) } \{X(t), Y(t)\} {X(t),Y(t)}为二维随机过程，其中$X(t)$为$m$维，$Y(t)$为$n$维，称其分布函数为$m+n$维分布函数。在两者相互独立时可以直接用边缘分布函数相乘得到。

二维随机过程的数字特征

• 互相关函数 $R_{XY}(s,t)$
• 互协方差函数$C_{XY}(s,t)$
• $C_{XY}(s,t)=R_{XY}(s,t)-m_X(s)m_Y(t)$
• 当两者相互独立时，即$C_{XY}(s,t)=0$时，两者不相关。

复随机过程

• 定义：设 { X ( t ) , t ∈ T } \{X(t), t\in T\} {X(t),t∈T}和 { Y ( t ) , t ∈ T } \{Y(t), t\in T\} {Y(t),t∈T}是定义在同一概率空间上的两个随机过程，令$Z(t)=X(t)+iY(t),t\in T$，则称 { Z t , t ∈ T } \{Z{t},t\in T\} {Zt,t∈T}为复随机过程。
• 数字特征：均值、方差、协方差、相关函数、互协方差函数、互相关函数

几类重要的随机过程

1. 二阶矩过程：随机过程 { X ( t ) , t ∈ T } \{X(t),t\in T\} {X(t),t∈T}的一、二阶矩存在，称其为二阶矩过程。
2. 正态过程: n维正态随机变量构成为正太过程(高斯过程)。正太过程是二阶矩过程。
3. 独立增量过程：$X(t_2-t_1),X(t_3-t_2),\cdots ,X(t_n-t_{n-1})$是相互独立的随机变量。此外，如果任意$s<t\in T,X(t)-X(s)$分布仅依赖于$t-s$,而与$s,t$本身取值无关,则称 { X ( t ) , t ∈ T } \{X(t),t\in T\} {X(t),t∈T}为平稳增量过程；当 { X ( t ) , t ∈ T } \{X(t),t\in T\} {X(t),t∈T}既是平稳增量过程,也是平稳增量过程，则称 { X ( t ) , t ∈ T } \{X(t),t\in T\} {X(t),t∈T}为平稳的独立增量过程。
4. Wiener过程：满足下列条件：

• $W(0)=0$
• { W ( t ) , t ≥ 0 } \{W(t), t\geq0\} {W(t),t≥0}是平稳的独立增量过程;
• $\forall 0\le s<t,W(t)-W(s)\sim N(0,{\sigma }^2(t-s))\cdot \frac{1}{2}$
  性质：
• $\forall t>0,W(t)\sim N(0,{\sigma }^{2}t)$
• 数字特征：
  $m_W(t)=0;D_W(t)={\sigma }^{2}t;R_W(s,t)=C_W(s,t)={\sigma }^{2}min(s,t)$

5. 平稳过程：严平稳性；宽平稳性