【随机信号分析】第二章 随机过程

第二章 随机过程

1. 随机过程基本概念及其统计特性

具有随机相位$\varphi$的交流电压波形：$V(t)=Acos(\omega t+\varphi )$.

定义：对于每一个特定时间$t_i$，$X(t_i,s)$都是随机变量，则称$X(t_i,s)$为随机函数。

1.1. 随机事件和概率

• 我们把任意可以重复进行的过程称为一个试验（experiment）。如果试验的结果不止一个，成为随机试验（random experiment）。
• 随机试验的所有可能的结果（outcom）构成的集合，称为样本空间（sample space）。样本空间的子集称为随机事件（random event）。只有一个元素的子集称为基本事件（elementary event）。
• 刻画时间发生可能性大小的数量指标，称为事件的概率。

1.2. 随机过程的分类

• 连续型随机：时间连续，状态连续
• 离散型随机：时间连续，状态离散
• 连续随机：时间离散，状态连续
• 离散随机（随机数字序列，数字信号）：状态量化后的连续随机序列，即时间离散，状态离散

1.3. 随机过程的概率分布

1.一维概率分布
F X ( x ; t 1 ) = P { X ( t 1 ) ≤ x } F_X(x;t_1)=P\{X(t_1)\leq x\} FX​(x;t1​)=P{X(t1​)≤x}

$$f_X\left(x;t_1\right)=\frac{\partial F_X\left(x;t_1\right)}{\partial x}$$

连续性随机变量的分布函数为连续函数，因此$P(x=a)=0$，一件事情的概率为0，并不代表这件事情不会发生。

2.二维概率分布
F X ( x 1 , x 2 ; t 1 , t 2 ) = P { X ( t 1 ) ≤ x 1 , X ( t 2 ) ≤ x 2 } F_X(x_1,x_2;t_1,t_2)=P\{X(t_1)\leq x_1,X(t_2)\leq x_2\} FX​(x1​,x2​;t1​,t2​)=P{X(t1​)≤x1​,X(t2​)≤x2​}

$$f_X(x_1,x_2;t_1,t_2)=\frac{{\partial }^2{F}_X(x_1,x_2;t_1,t_2)}{\partial x_1\partial x_2}$$

1.4. 随机过程的数字特征

对于一个随机过程，要研究它的变化规律，常常需要建立起它的“函数关系”，也就是建立随机过程的多维分布。因为堆积过程的多维分布可以比较全面地描述随机过程的整个变化规律的统计特性，弹药建立过程的分布函数一般比较复杂，使用也不便，甚至不可能。

因此，在许多实际应用中，当随机过程的“函数关系”不好确定时，我们往往可以退而求其次，像引入随机变量的数则特征一样，引入随机过程的数字特征

1.4.1. 数学期望（均值）

$$m_X(T)=E[X(t)]={\int }_{-\infty }^{\infty }x{f}_X(x;t)dx$$

1.4.2. 均方值和方差

二阶原点矩：
$${\Psi }_X^2(t)=E[X^2(t)]={\int }_{-\infty }^{\infty }{x}^2{f}_X(x;t)dx$$

二阶中心矩：
σ X 2 ( t ) = D [ X ( t ) ] = E { [ X ( t ) ] 2 } = E { [ X ( t ) − m X ( t ) ] 2 } = E [ X 2 ( t ) ] − [ m X ( t ) ] 2 \sigma^2_X(t)=D[X(t)]=E\{[X(t)]^2\}\\=E\{[X(t)-m_X(t)]^2\}=E[X^2(t)]-[m_X(t)]^2 σX2​(t)=D[X(t)]=E{[X(t)]2}=E{[X(t)−mX​(t)]2}=E[X2(t)]−[mX​(t)]2

1.4.2.1. 数字特征的性质

1. $$\eta =g(\xi ):E(\eta )=E(g(\xi ))={\int }_{-\infty }^{\infty }g(x)f(x)dx$$特别的，若$\eta =a\xi +b,则E(\eta )=aE(\xi )+b，且D(\eta )=a^{2}D(\xi ).$
2. $${\mu }_n=E[\xi -E(\xi ){]}^2=\sum _{k=1}^n(-1{)}^{n-k}{C}_n^k{\nu }_1^{n-k}{\nu }_k$$特别的，$D(\xi )=E({\xi }^2)-[E(\xi ){]}^2.又D(\xi )\ge 0$，由此得 $({\int }_{-\infty }^{\infty }xf(x)dx{)}^2\le {\int }_{-\infty }^{\infty }{x}^{2}f(x)dx$
3. $$E[\xi -E(\xi ){]}^2\le E[(\xi -x{)}^2]$$

1.4.3. 自相关、协方差函数

随机过程的均值、方差描述了随机过程在各个鼓励时刻的重要数字特征值，但他们不能反映随机过程的内在联系。因此便引入了自相关和协方差函数。

1.4.3.1. 自相关函数（二阶联合原点矩）

$$\begin{gathered} R_X(t_1,t_2)=E[X(t_1)X(t_2)] \\ ={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }{x}_1{x}_{2}f(x_1,x_2;t_1,t_2)d{x}_{1}d{x}_2 \end{gathered}$$

• 自相关函数反映随机过程在两个不同时刻的相关程度。
• 自相关函数可正可负，其绝对值越大，表示相关性越强。一般来说，时间相隔越远，相关性越弱，自相关函数的绝对值越小。
• 当两个时刻重合时，其相关性是最强的。

1.4.3.2. 协方差（二阶联合中心距）

$$\begin{gathered} K_X(t_1,t_2)=E[(X(t_1)-m_X(t_1))(X(t_2-m_X(t_2))] \\ =R_X(t_1,t_2)-m_X(t_1)m_X(t_2) \end{gathered}$$

• 协方差函数反应随机过程两个时刻的起伏值之间的相关程度

当$t_1=t_2$时，

$$R_X(t_1,t_2)=R_X(t,t)=E[X^2(t)]$$

$$K_X(t_1,t_2)=D[X(t)]=E(X^2(t))-m_X^2(t)$$

若$X(t_1),X(t_2)$独立

1. $$R_X(t_1,t_2)=E[X(t_1)X(t_2)]=E[X(t_1)]E[X(t_2)]$$
2. $$K_X(t_1,t_2)=0，即X(t_1),X(t_2)不相关$$

1.4.3.3. 相关系数（normalized covariance）

为去除起伏值强度的影响，对协方差函数做归一化处理

$$r_X(t_1,t_2)=\frac{K_X(t_1,t_2)}{{\sigma }_X(t_1){\sigma }_X(t_2)}$$

用来描述$X(t_1),X(t_2)$的线性相关程度。measure the degree of correlation

1. $|r_X(t_1,t_2)|\le 1$
2. $r_X(t_1,t_2)=\pm 1$,表示二者线性相关
3. $r_X(t_1,t_2)=0，$表明二者不相关

$$\begin{gathered} r_{XY}=0 \\ ⟺K_{XY}=0 \\ ⟺E(XY)=E(X)E(Y) \\ ⟺D(X\pm Y)=D(X)+D(Y) \end{gathered}$$

不相关与相互独立：

不相关 $\nRightarrow$ 相互独立
相互独立 $\Rightarrow$ 不相关

正交随机变量：

定义： 当$E[XY]=0$，则称随机变量$X,Y$是正交的。

命题： 若$E[X]=0$或$E[Y]=0$至少有一成立，则$X,Y$不相关与$X,Y$正交等价。
$$K_{XY}=E[XY]-E[X]E[Y]=E[XY]$$

1.5. 随机信号的特征函数

1.5.1. 一维特征函数

$$C_X(u_1;t_1)=E[e^{j{u}_{1}X(t_1)}]={\int }_{-\infty }^{\infty }{f}_X(x_1;t_1)e^{j{u}_1{x}_1}d{x}_1$$

$$f_X(x_1;t_1)=\frac{1}{2\pi }{\int }_{-\infty }^{\infty }{C}_x(u_1;t_1)e^{-j{u}_{1}x}d{u}_1$$

1.5.1.1. 特征函数的性质

1. $|C(u)|\le C(0)=1;C_X(-u)=\overline{C_X(u)}$
2. 若$\eta =a\xi +b$，则$C_{\eta }=e^{jub}{C}_{\xi }(au)$
3. $E({\xi }^k)=j^{-k}{C}^{(k)}(0)$
4. 密度函数与特征函数具有一一对应的关系
   $$C(u)={\int }_{-\infty }^{\infty }f(x)e^{jux}d{x}_1⟺f(x)=\frac{1}{2\pi }{\int }_{-\infty }^{\infty }C(u)e^{-jux}du$$

1.5.1.2. 二维特征函数

$$C_X(u_1,u_2;t_1,t_2)=E[e^{j[u_{1}X(t_1)+u_{2}X(t_2)]}]={\int }_{-\infty }^{\infty }{f}_X(x_1,x_2;t_1,t_2)d{x}_1{e}^{j[u_1{x}_1+u_2{x}_2]}d{x}_{1}d{x}_2$$

$$X_1,X_2\text{独立}⟺C_{X_1,X_2}(u_1,u_2)=C_{X_1}(u_1)C_{X_2}(u_2)$$

2. 随机过程的微分和积分

• 具有二阶矩的随机过程可以建立随机微积分的概念，对于研究常用的平稳过程很有用。
• 为定义二阶矩过程的连续性、导数和积分概念，需要利用随机变量的极限，下面主要研究二阶矩过程在均方极限意义下的随机微积分。
• 在普通的微积分中，连续、导数和积分等概念都是建立在极限概念的基础上。以随机序列极限为基础，研究分析随机过程的连续、导数和积分等概念和性质。

2.1. 随机变量序列的均方极限

2.1.1. 定义1（二阶矩变量空间）

称定义在概率空间$(\Omega ,F,P)$上的具有二阶矩的随机变量的全体所组成的集合
H = { X ∣ E [ ∣ X ∣ 2 ] < + ∞ } H=\{X|E[|X|^2]<+\infty\} H={X∣E[∣X∣2]<+∞}

为二阶矩空间变量。

引理： 设$X,Y\in H,$则对任意的复数 $a,b$ 有 $aX+bY\in H$

2.1.2. 定义2（均方极限）

设$X,X_n\in H,n=1,2,\cdots 。$如果
$$\underset{n\to \infty }{\lim }E|X_n-X{|}^2=0$$

则称 { X n , n = 1 , 2 , ⋯   } \{X_n,n=1,2,\cdots\} {Xn​,n=1,2,⋯}均收敛于$X$。或称$X$为 { X n , n = 1 , 2 , ⋯   } \{X_n,n=1,2,\cdots\} {Xn​,n=1,2,⋯}的均方极限，记为：
$$l.i.m_{n\to \infty }{X}_n=X$$

$l.i.m$是英文 limit in mean square 的缩写，表示均方意义下的极限

2.1.2.1. 性质

$(1)l.i.m_{n\to \infty }{c}_n={\lim }_{n\to \infty }{c}_n=c$

$(2)l.i.m_{n\to \infty }Z=Z$

$(3)l.i.m_{n\to \infty }(c_{n}Z)=cZ$

2.1.2.2. 定理

设${X_n,n=1,2\cdots},{Y_n,n=1,2,\cdots} \subset H. $其中$X,Y\in H$.

且$l.i.m_{n\to \infty }(X_n)=X,l.i.m_{\to \infty }(Y_n)=Y,a,b$为常数,则
$$l.i.m_{n\to \infty }(a{X}_n+b{Y}_n)=aX+bY;★$$

$$\underset{m,n\to \infty }{\lim }E(\overline{X_m}{Y}_n)=E[\overline{X}Y];★$$

2.1.2.3. 推论

设 { X n , n = 1 , 2 ⋯   } ⊂ H , X ∈ H , 且 \{X_n,n=1,2\cdots\}\subset H,X\in H,且 {Xn​,n=1,2⋯}⊂H,X∈H,且 $l.i.m_{n\to \infty }{X}_n=X$,则

1. $li{m}_{n\to \infty }E{X}_n=EX=E[l.i.m_{n\to \infty }{X}_n]$
2. $li{m}_{n\to \infty }E|X_n{|}^2=E|X{|}^2=E[|l.i.m_{n\to \infty }{X}_n{|}^2]$
3. $li{m}_{n\to \infty }D{X}_n=DX=D[l.i.m_{n\to \infty }{X}_n]$

2.1.3. 均方收敛判定准则

定理（Cauchy准则）设 { X n , n = 1 , 2 ⋯   } ⊂ H , \{X_n,n=1,2\cdots\}\subset H, {Xn​,n=1,2⋯}⊂H,则 { X n } \{X_n\} {Xn​}均方收敛的充要条件是：
$$\underset{n,m\to \infty }{\lim }E|X_m-X_n{|}^2=0$$

定理（Loeve准则）设 { X n , n = 1 , 2 ⋯   } ⊂ H , \{X_n,n=1,2\cdots\}\subset H, {Xn​,n=1,2⋯}⊂H,则 { X n } \{X_n\} {Xn​}均方收敛的充要条件是：
$$\underset{n,m\to \infty }{\lim }E[{\overline{X}}_m{X}_n]=cc<+\infty ,是常数$$

2.2. 随机过程的微分及积分

2.2.1. 随机过程的微分

数字特征：

随机过程导数的均值等于其均值的导数
$$E[\dot{X}(t)]=\frac{d}{dt}E[X(t)]$$

随机过程导数的相关函数等于其相关函数的混合偏导数
$$R_{\dot{X}}\left(t_1,t_2\right)=\frac{{\partial }^2{R}_X\left(t_1,t_2\right)}{\partial t_1\partial t_2}$$

2.2.2. 随机过程的积分

$Y={\int }_a^{b}X(t)dt$

数字特征：

随机过程积分的均值等于其均值的积分
$$E[Y]={\int }_a^b{m}_X(t)dt$$

随机过程积分的均方值等于其相关函数的二重积分
$$E[Y^2]={\int }_a^b{\int }_a^b{R}_X(t_1,t_2)d{t}_{1}d{t}_2$$

随机过程积分的方差等于其协方差函数的二重积分
$${\sigma }_Y^2={\int }_a^b{\int }_a^b{K}_X(t_1,t_2)d{t}_{1}d{t}_2$$

变上限积分：

随机过程：$Y(t)={\int }_0^{t}X(\lambda )d\lambda$

均值：

$$E[Y(t)]={\int }_0^t{m}_X(\lambda )d\lambda$$

相关系数：
$$R_Y(t_1,t_2)={\int }_0^{t_1}{\int }_0^{t_2}{R}_X(\lambda ,\nu )d\lambda d\nu$$

3. 平稳随机过程和遍历性过程

stationarity：平稳性
ergodicity：遍历性

3.1. 平稳随机过程

平稳随机过程是指统计特性不随时间的推移而变化的随机过程，分为严平稳和宽平稳。

3.1.1. 严平稳随机过程定义

严平稳随机过程： Strict-Sense Stationary：SSS

1. SSS一维分布、密度函数和均值都与时间无关
2. SSS二维分布、密度函数和自相关函数都与两个时刻的绝对值无关，而仅与两者之差有关

3.1.2. 严平稳随机过程的低阶矩（一、二维概率密度及数字特征）

这只是严平稳随机过程的性质，并不能作为判定其是否为严平稳随机过程的条件。

1. $$E[X(t)]=m_X$$
2. $$E[X^2(t)]={\Psi }_X^2$$
3. $$D[X(t)]={\sigma }_X^2$$
4. $$R_X(t,t+\tau )=R_X(\tau )$$
5. $$K_X(t_1,t_2)=K_X(\tau )=R_X(\tau )-m_X^2$$
6. $$K_X(0)={\sigma }_X^2=R_X(0)-m_X^2$$

3.1.3. 宽平稳随机过程

Wide-Sense Stationary：WSS

3.1.3.1. 定义

若随机过程$X(t)$的数学期望为一常数，其相关函数只与时间间隔$\tau =t_2-t_1$有关，且它的均方值有限。即满足：

1. $$E[X(t)]=m_X(t)=m_X:constant$$
2. $$R_X(t,t+\tau )=R_X(\tau ):\forall t,\tau$$
3. $$E[X^2(t)]<\infty$$

则称$X(t)$为宽平稳随机过程（或称广义平稳随机过程）。

Remark:

1. 严平稳过程只要二阶矩存在，则它必定也是宽平稳的，反之不成立。
2. 宽平稳的正态过程必定也是严平稳的。
3. 由于宽平稳随机过程的定义只涉及与一、二维概率密度有关的数字特征，所以，一个严平稳过程只要均方有界，则其必然是广义平稳的。但反之不一定成立。

上述三个公式可作为判定宽平稳随机过程的依据。

3.1.4. 循环平稳随机过程

CycloStationary：CS

1. $$E[X(t)]=m_X(t)=m_X(t+kT)$$
2. $$R_X(t,t+\tau )=R_X(t,\tau )=R_X(t+kT,\tau )$$

3.2. 平稳随机过程相关函数的性质

相关函数反映随机过程在两个不同时刻的相关度

$$R_X(t,t+\tau )=E[X(t)X(t+\tau )]=R_X(\tau )$$

3.2.1. 基本性质

1. $$R_X(t,t+\tau )=R_X(\tau )=R_X(-\tau )$$表示是一个偶函数。

2. $$R_X(0)\ge 0$$相关函数在$t=0$处的值是大于等于0的。

3. $$\begin{gathered} K_X(\tau )=R_X(\tau )-m_X^2, \\ {\sigma }^2=R_X(0)-m_X^2 \end{gathered}$$方差和协方差的计算方法，注意！！！$\bigstar $

4. $$|R_X(\tau )|\le R_X(0)$$在时间为0处$R_X(t)$最大

5. $$\begin{gathered} \exists T\ne 0\to R_X(T)=R_X(0) \\ \Rightarrow R_X(\tau )=R_X(\tau +kT) \end{gathered}$$周期性的问题。

6. 若严平稳过程中不含有任何周期分量，则有：$$\underset{|\tau |\to \infty }{\lim }{R}_X(\tau )=R_X(\infty )=m_X^2$$

3.2.2. 相关系数 & 相关时间

相关系数：
$$r_X(\tau )=\frac{K_X(\tau )}{K_X(0)}=\frac{R_X(\tau )-m_X^2}{{\sigma }_X^2}$$

相关时间：
对于一般的随机国车过而言，随着时间间隔$\tau$正大相关程度减弱，因此相关系数也随着减弱，当间隔大到一定程度（假定为${\tau }_0$），相关系数很小可以认为起伏值不相关了，这个时间就称为相关时间。

3.3. 遍历性过程

遍历性（ergodicity），也称为各态历经性过程。

任何一条样本函数所包含的取值状态与随机过程（任意时刻）所有的状态相同，而且出现的频率与随机过程各状态的概率相同。

辛钦证明：
在具备一定的补充条件下，对平稳随机过程的一个样本函数取时间均值（观察时间足够长），就从概率意义上趋近于此过程的统计（集合）均值。对于这样的随机过程，我们说它具备遍历性。

随机过程的遍历性，可以理解为随机过程的各个样本函数都同样地经历了随机过程的各种可能状态，因此，从随机过程的任何一个样本函数就能得到随机过程的全部统计信息，任何一个样本函数的特性都唔那个充分地代表整个随机过程的特性。

3.3.1. 遍历性过程的定义

1. 随机过程的时间平均
2. 严遍历性过程的定义： 随机过程的各种时间平均值，在平均时间足够长的条件下都依概率1等于相应的集合平均

3.3.1.1. 严遍历性过程的定义

如果一个随机过程$X(t)$，它的各种时间平均（时间足够长）依概率1收敛于相应的集合平均，则称过程$X(t)$具有严格（或狭义）遍历性，并称此过程为严格（或狭义）遍历性过程，简称严遍历过程。

3.3.1.2. 随机过程的时间平均

$$A⟨X(t)⟩=\overline{X(t)}=\underset{T\to \infty }{\lim }\frac{1}{2T}{\int }_{-T}^{T}X(t)\mathrm{d}t$$

$${\mathfrak{R}}_X(t,t+\tau )=\overline{X(t)X(t+\tau )}=\underset{T\to \infty }{\lim }\frac{1}{2T}{\int }_{-T}^{T}X(t)X(t+\tau )\mathrm{d}t$$

分别称之为过程$X(t)$的 时间均值 和 时间相关函数 。

3.3.1.3. 宽遍历性过程的定义

设$X(t)$是一个平稳随机过程

(1) 若
$$A⟨X(t)⟩=\overline{X(t)}=E[X(t)]=m_X$$

则称过程$X(t)$的均值具有遍历性。

(2) 若

$${\mathfrak{R}}_X(t,t+\tau )=\overline{X(t)X(t+\tau )}=E[X(t)X(t+\tau )]=R_X(\tau )$$

则称过程$X(t)$的自相关函数具有遍历性。若在$\tau =0$时上式成立，则称过程$X(t)$的均方值具有遍历性。

若（1）和（2）同时满足，则$X(t)$称为宽遍历随机过程。（判定方法）

3.3.2. 随机过程具备遍历性的条件

随机过程均值遍历的充要条件：$E[X(t)]=A[X(t)]$

$E[X(t)]$与样本无关，是时间的函数，是任意时刻上的概率平均。$E[X(t)]=m(const)$

$A[X(t)]$与实践无关，与取哪条样本函数有关，是随机变量。 D { A [ X ( t ) ] } = 0 D\{A[X(t)]\}=0 D{A[X(t)]}=0

自相关函数遍历的充分条件：$E[X(t)X(t+\tau )]=A[X(t)X(t+\tau )]$