【笔记】 通信原理 第三章 随机过程

第三章 随机过程

3.1随机过程的基本概念

​ 随机过程是一类随时间作随机变化的过程，他不能用确切的时间函数描述。

​ 随机过程可以草率两个不同的角度来说明。

​ 一个角度是把随机过程看成对应不同随机实验结果的时间过程的集合。测试结果的每一个记录都不相同，都是一个确定的时间函数$x_i(t)$，称为样本函数。全部样本函数构成的总体 { x 1 ( t ) , x 2 ( t ) , . . . , x n ( t ) } {\{x_1(t),x_2(t),...,x_n(t)\}} {x1​(t),x2​(t),...,xn​(t)}就是一个随机过程，记作$\xi (t)$。随机过程是所有样本函数的集合。

​ 从另一个角度看，随机过程是随机变量概念的延伸。随机过程在任意时刻的值是一个随机变量。可以把随机过程看作是时间进程中处于不同时刻的随机变量的集合。

3.1.1随机过程的分布函数

​ 可以通过分布函数或概率密度函数来描述随机过程。

​ 我们把随机变量$\xi (t_1)$小于或等于某一数值$x_1$的概率$P[\xi (t_1)\le x_1]$，记作
$$F_1(x_1,t_1)=P[\xi (t_1)\le x_1]$$
此为随机过程$\xi (t)$的一维分布函数。

​ 如果分布函数对x₁的偏导存在，
$$\frac{\partial F_1(x_1,t_1)}{\partial x_1}=f_1(x_1,t_1)$$
则f₁是随机过程$\xi (t)$的一维概率密度函数。

​ 一维分布函数或一维概率密度函数仅仅描述了随机过程在任意瞬间的统计特性，对随机过程的描述很不充分。

​ 对于任意固定的t₁和t₂时刻，把$\xi (t_1)\le x_1$和$\xi (t_2)\le x_2$同时成立的概率
F 2 ( x 1 , x 2 ; t 1 , t 2 ) = P { ξ ( t 1 ) ≤ x 1 , ξ ( t 2 ) ≤ x 2 } F_2(x_1,x_2;t_1,t_2)=P\{\xi(t_1)\le x_1,\xi(t_2)\le x_2\} F2​(x1​,x2​;t1​,t2​)=P{ξ(t1​)≤x1​,ξ(t2​)≤x2​}
称为随机过程$\xi (t)$的二维分布函数。

​ 如果
$$\frac{\partial F_2(x_1,x_2;t_1,t_2)}{\partial x_1\partial x_2}=f_2(x_1,x_2;t_1,t_2)$$
存在，则$f_2(x_1,x_2;t_1,t_2)$是$\xi (t)$的二维概率密度函数。

​ 同理，可以将其推导到n维，n越大，对随机过程统计特性的描述就越充分。

3.1.2随机过程的数字特征

大多数情况不使用n维分布函数或概率密度函数，而是用数字特征来部分地描述主要特征。

1.均值

​ 随机过程$\xi (t)$的均值定义为
$$E[\xi (t)]={\int }_{-\infty }^{\infty }x{f}_1(x,t)dx$$
​ 均值是时间的确定函数，常记为$a(t)$。

2.方差

​ 随机过程$\xi (t)$的方差定义为
$$D[\xi (t)]=E\{[\xi (t)-a(t){]}^2\}=E[{\xi }^2(t)]-a^2(t)$$
$D[\xi (t)]$常记为${\sigma }^2(t)$，方差等于均方差和均值平方之差。

3.相关函数

​ 均值和方差都只与随机过程的一维概率密度函数有关，只描述了随机过程在各个孤立时刻的特征，而不能反映随机过程的内在联系。

​ 随机过程$\xi (t)$的协方差函数定义为
$$\begin{array}{rl}B(t_1,t_2)& =E\{[\xi (t_1)-a(t_1)][\xi (t_2)-a(t_2)]\}\\ & ={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }[x_1-a(t_1)][x_2-a(t_2)]f_2(x_1,x_2;t_1,t_2)d{x}_{1}d{x}_2\end{array}$$
​ 随机过程$\xi (t)$的相关函数定义为
$$\begin{array}{rl}R(t_1,t_2)& =E[\xi (t_1)][\xi (t_2)]\\ & ={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }{x}_1{x}_2{f}_2(x_1,x_2;t_1,t_2)d{x}_{1}d{x}_2\end{array}$$
​ 协方差函数和相关函数的关系为
$$B(t_1,t_2)=R(t_1,t_2)-a(t_1)a(t_2)$$

3.2平稳随机过程

3.2.1定义

​ 若一个随机过程$\xi (t)$的统计特性与时间起点无关，即时间平移不影响其任何统计特性，则称该随机过程是在严格意义下的平稳随机过程，简称严平稳随机过程。
$$\begin{gathered} f_1(x_1,t_1)=f_1(t_1) \\ {f}_2(x_1,x_2;t_1,t_2)=f_2(x_1,x_2;\tau ) \end{gathered}$$
所以，平稳随机过程$\xi (t)$：

1. 均值与t无关，为常数a。

2. 自相关函数只与时间间隔$\tau$有关。

   平时可以通过这两个条件判断随机过程的平稳性，并把同时满足二者的随机过程定义为广义平稳随机过程。

PS：严平稳过程一定是广义平稳过程，反之不一定成立。

3.2.2各态历经性

​ 在满足一定条件时，平稳过程具有各态历经性。具有各态历经性的过程，其数字特征完全可由随机过程中的任一实现的时间平均值来代替。

含义：随机过程中的任一次实现都经历了随机过程的所有可能状态。

PS：具有各态历经性的随机过程一定是平稳过程，反之不一定成立。

定义：如果一个过程同时满足均值各态历经性和自相关函数各态历经性，则称其是各态历经过程。

具体定义及判断条件详见：https://blog.csdn.net/captainjtx/article/details/8680458

3.2.3平稳过程的自相关函数

​ 设$\xi (t)$是实平稳随机过程（PS：实平稳随机过程中的实指平稳随机过程变量的取值范围为“实数”），则它的自相关函数具有如下性质：

1. $R(0)=E[{\xi }^2(t)]$，表示$\xi (t)$的平均功率。
2. $R(\tau )=R(-\tau )$，是关于$\tau$的偶函数。
3. $|R(\tau )|\le R(0)$，说明$R(0)$是自相关函数的上界。
4. $R(\infty )=E^2[\xi (t)]=a^2$，表示$\xi (t)$的直流功率。

​ PS：因为$\tau \to \infty$时，$\xi (t)$与$\xi (t+\tau )$没有依赖关系，互相独立。

5. $R(0)-R(\infty )={\sigma }^2$,表示平稳过程$\xi (t)$的交流功率。当均值为0时，$R(0)={\sigma }^2$。

3.2.4平稳过程的功率谱密度

​ 对于任意的确定功率信号x(t)，其功率谱密度定义为
$$P_s(f)=\underset{T\to \infty }{\lim }\frac{|X_T(f){|}^2}{T}$$
其中，$|X_T(f)$为截短函数对应的频谱函数。

​ **不同样本函数具有不同的谱密度，所以，某一样本的功率谱密度不能作为过程的功率谱密度。**过程的功率谱密度应看作是对所有样本的功率谱的统计平均。
$$P_{\xi }(f)=E[P_x(f)]=\underset{T\to \infty }{\lim }\frac{E|X_T(f){|}^2}{T}$$
但该公式并不方便计算，所以，根据维纳-辛钦定理，可以通过求取自相关函数进而求取功率谱密度。并且可以得到如下结论：

1. 对功率谱密度进行积分，可以得到平稳过程的平均功率：

$$R(0)={\int }_{-\infty }^{\infty }{P}_{\xi }(f)df$$

不同于$R(0)=E[{\xi }^2(t)]$在时域上对平均功率进行计算，这是在频域角度给出了计算方法。

2. 如果过程具有各态历经性，则任一样本的功率谱密度等于过程的功率谱密度。

3. 功率谱密度$P_{\xi }(f)$具有非负性和实偶性。

3.3高斯随机过程

高斯随机过程也叫正态随机过程，常见的有热噪声。

3.3.1定义

​ 如果随机过程$\xi (t)$的任意n维分布均服从正态分布，则称它为高斯过程或正态过程。其n维正态概率密度函数表示如下：
$$\begin{gathered} f_n(x_1,x_2,...,x_n;t_1,t_2,...,t_n) \\ =\frac{1}{(2\pi {)}^{n/2}{\sigma }_1{\sigma }_2\cdots {\sigma }_n|\mathbf{B}{|}^{1/2}}exp[\frac{-1}{2|B|}\sum _{j=1}^n\sum _{k=1}^n|\mathbf{B}{|}_{\mathbf{jk}}(\frac{{\mathbf{x}}_{\mathbf{j}}-{\mathbf{a}}_{\mathbf{j}}}{{\sigma }_{\mathbf{j}}})(\frac{{\mathbf{x}}_{\mathbf{k}}-{\mathbf{a}}_{\mathbf{k}}}{{\sigma }_{\mathbf{k}}})] \end{gathered}$$
式中，$a_k$代表均值，${\sigma }_k^2$代表方差，$|B|$为归一化协方差矩阵的行列式，即
$$|B|=\left|\begin{array}{cccc}1& b_{12}& \cdots & b_{1n}\\ b_{21}& 1& \cdots & b_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ b_{n1}& b_{n2}& \cdots & 1\end{array}\right|$$
其中$b_{ij}$为归一化协方差函数
$$b_{ij}=\frac{E|[\xi (t_j)-a_j][\xi (t_k)-a_k]|}{{\sigma }_j{\sigma }_k}$$

3.3.2重要性质

1. 高斯过程的n维分布只与其数字特征有关。
2. 广义平稳的高斯过程必然也是严平稳的。
3. 如果高斯过程在不同时刻的取值是不相关的，对所有$j\ne k$有$b_{jk}=0$，则他们统计独立。

$$f_n(x_1,x_2,\cdots ,x_n;t_1,t_2,\cdots ,t_n)=f(x_1,t_1)\cdot f(x_2,t_2)\cdot \cdots \cdot f(x_n,t_n)$$

4. 高斯过程经过线性变换之后生成的过程仍是高斯过程。

3.3.3高斯随机变量

​ 高斯过程在任意时刻上的取值是一个正态分布的随机变量，一维概率密度函数为
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-a{)}^2}{2{\sigma }^2})$$
其具有以下特性：

1. f(x)关于x=a对称，即

$$f(a+x)=f(a-x)$$

2. ${\int }_{-\infty }^{\infty }f(x)dx=1$

3. 当$a=0,\sigma =1$时，为标准正态分布。

​ 高斯随机变量$\xi$小于或等于某一取值x的概率$P(\xi \le x)$，等于概率密度$f(x)$的积分，将其定义为正态分布函数
$$F(x)=P(\xi \le x)={\int }_{-\infty }^{x}f(z)dz$$
但是该式无法进行闭合形式计算，对其进行变量代换，得到
$$F(x)=\frac{1}{2}+\frac{1}{2}erf(\frac{x-a}{\sqrt{2}\sigma })$$
其中，$erf(x)$为误差函数，定义为
$$erf(x)=\frac{2}{\sqrt{\pi }}{\int }_0^x{e}^{-t^2}dt$$
$erf(x)$为自变量递增函数，$erf(0)=0,erf(\infty )=1,erf(-x)=-erf(x)$

​ 也可以得到
$$F(x)=1-\frac{1}{2}erfc(\frac{x-a}{\sqrt{2}\sigma })$$
其中，$erfc(x)$为互补误差函数
$$erfc(x)=1-erf(x)$$
PS：对于x>a，互补误差函数与高斯概率密度函数曲线尾部下的面积成正比。

3.4平稳随机过程通过线性系统

​ 假设在一个线性系统的输入端加入一个随机过程${\xi }_i(t)$时，求取其输出的随机过程${\xi }_o(t)$的统计分布。

1.均值

​ 设$E[{\xi }_i(t)]=a(常数)$，则
$$E[{\xi }_o(t)]=a\cdot H(0)$$
其中H(0)为线性系统在f=0处的频率响应，即直流增益。所以输出过程的均值是一个常数。

2.自相关函数

$$R_o(t_1,t_1+\tau )=R_o(t)$$

​ 输出过程的自相关函数仅仅是时间间隔$\tau$的函数，若线性系统的输入过程是平稳的，那么输出过程也是平稳的。

3.功率谱密度

$$P_o(f)=|H(f){|}^2{P}_i(f)$$

​ 输出过程的功率谱密度是输入过程的功率谱密度乘以系统频率响应模值的平方。

4.概率分布

​ 高斯过程经过线性变换之后得到的仍然是高斯过程。

3.5窄带随机过程

​ 窄带随机过程：如果随机过程的谱密度集中在中心频率附近相对窄的频带范围内，且中心频率远离零频，则称该过程为窄带随机过程。

​ 通过窄带系统的信号或噪声必然是窄带随机过程。

​ 窄带随机过程的一个样本波形如同一个包络和相位随机缓变的正弦波，对窄带随机过程进行三角函数展开，则
$$\begin{array}{rl}\xi (t)& =a_{\xi }(t)cos[{\omega }_{c}t+{\varphi }_{\xi }(t)]\\ & ={\xi }_c(t)cos{\omega }_{c}t+{\xi }_s(t)sin{\omega }_c(t)\end{array}$$

KaTeX parse error: Expected 'EOF', got '&' at position 11: \text{其中}&̲\xi_c(t)=a_\xi(…

${\xi }_c(t)$和${\xi }_s(t)$分别为随机过程的同相分量和正交分量。假设均值为0，方差为${\sigma }_{\xi }^2$，分析该平稳窄带过程的相关统计特性。

3.5.1${\xi }_c(t)$和${\xi }_s(t)$的统计特性

​ 数学期望：
$$\begin{gathered} E[{\xi }_c(t)]=0 \\ E[{\xi }_s(t)]=0 \end{gathered}$$
​ 自相关函数：
$$\begin{gathered} R_{\xi }(\tau )=R_c(\tau )cos{\omega }_c\tau -R_{cs}(\tau )sin{\omega }_c\tau \\ {R}_{\xi }(\tau )=R_s(\tau )cos{\omega }_c\tau +R_{sc}(\tau )sin{\omega }_c\tau \end{gathered}$$
若窄带过程$\xi (t)$是平稳的，则${\xi }_c(t)$和${\xi }_s(t)$也是平稳的。

​ 方差（平均功率）：
$${\sigma }_{\xi }^2={\sigma }_c^2={\sigma }_s^2$$
PS：同一时刻上得到的${\xi }_s$和${\xi }_c$是互不相关、统计独立的。

3.5.2$a_{\xi }(t)$和${\phi }_{\xi }(t)$的统计特性

​ $ \xi_c(t)$和$\xi_s(t)$的联合概率密度函数为
$$f({\xi }_c,{\xi }_s)=f({\xi }_c)\cdot f({\xi }_s)=\frac{1}{2\pi {\sigma }_{\xi }^2}exp[-\frac{{\xi }_c^2+{\xi }_s^2}{2{\sigma }_{\xi }^2}]$$
则$a_{\xi }(t)$和${\phi }_{\xi }(t)$的联合概率密度函数为
$$\begin{array}{rl}f(a_{\xi },{\phi }_{\xi })& =f({\xi }_c,{\xi }_s)|\frac{\partial ({\xi }_c,{\xi }_s)}{\partial (a_{\xi },{\phi }_{\xi })}|\\ & =a_{\xi }f({\xi }_c,{\xi }_s)=\frac{a_{\xi }}{2\pi {\sigma }_{\xi }^2}exp[-\frac{a_{\xi }^2}{2{\sigma }_{\xi }^2}]\end{array}$$
之后，将其对${\phi }_{\xi }$进行积分，求得包络$a_{\xi }$的一维概率密度函数为
$$f(a_{\xi })=\frac{a_{\xi }}{{\sigma }_{\xi }^2}exp[-\frac{a_{\xi }^2}{2{\sigma }_{\xi }^2}]$$
所以，$a_{\xi }$服从瑞利分布。

将其对$a_{\xi }$进行积分，求得相位${\phi }_{\xi }$的一维概率密度函数为
$$f({\phi }_{\xi })=\frac{1}{2\pi }$$
所以，${\phi }_{\xi }$服从均匀分布。

而且$a_{\xi }(t)$和${\phi }_{\xi }(t)$是统计独立的。

3.6正弦波加窄带高斯噪声

​ 设正弦波加窄带高斯噪声的混合信号为
$$\begin{array}{rl}r(t)& =Acos({\omega }_{c}t+\theta )+n(t)\\ & =[Acos\theta +n_c(t)]cos{\omega }_{c}t-[Asin\theta +n_s(t)]sin{\omega }_{c}t\\ & =z_c(t)cos{\omega }_{c}t-z_s(t)sin{\omega }_{c}t\end{array}$$
所以，信号的包络和相位分别为
$$\begin{gathered} z(t)=\sqrt{z_c^2(t)+z_s^2(t)} \\ \phi (t)=arctan\frac{z_s(t)}{z_c(t)} \end{gathered}$$
​ 根据3.5小节可知，如果$\theta$值给定，则$z_c,z_s$为相互独立的高斯随机变量，且
$$\begin{gathered} E[z_c]=Acos\theta ,E[z_s]=Asin\theta ; \\ {\sigma }_c^2={\sigma }_s^2={\sigma }_n^2 \end{gathered}$$
​ 在给定相位$\theta$的条件下，$z_s$和$z_c$的联合概率密度函数为
$$f(z_c,z_s/\theta )=\frac{1}{2\pi {\sigma }_n^2}exp[-\frac{(z_c-Acos\theta {)}^2+(z_s-Asin\theta {)}^2}{2{\sigma }_n^2}]$$
​ $ z$和$\varphi$的联合概率密度函数为
$$f(z,\phi /\theta )=\frac{z}{2\pi {\sigma }_n^2}exp[-\frac{z^2+A^2-2Azcos(\theta -\phi )}{2{\sigma }_n^2}]$$
​ r(t)的包络z的概率密度函数为
$$f(z)=\frac{z}{{\sigma }_n^2}exp[-\frac{1}{2{\sigma }_n^2}(z^2+A^2)]I_0(\frac{Az}{{\sigma }_n^2})$$
其中$I_0(x)$为第一类零阶修正贝塞尔函数。这个概率密度函数称为广义瑞利分布，或莱斯分布。此式有两种极限情况：

1. 信号很小，即$A\to 0$时，信号噪声功率比$\gamma \to 0$，所以x很小，$I_0(x)\approx I_0(0)=1$，由莱斯分布退化为瑞利分布。

2. 当信噪比很大时，有$I_0(x)\approx \frac{e^x}{\sqrt{2\pi x}}$，此时，在$z\approx A$附近，近似为高斯分布。

而对于正弦波加窄带高斯噪声的相位分布$f(\phi )$，在小信噪比时，其接近于均匀分布，窄带高斯噪声为主。大信噪比时，则主要集中在有用信号相位附近，

3.7高斯白噪声和带限白噪声

1.白噪声

​ 如果噪声的功率谱密度在所有频率上均为一常数，即
$$\begin{gathered} P_n(f)=\frac{n_0}{2}(-\infty <f<\infty ) \\ \text{或}{P}_n(f)=n_0(0<f<\infty ) \end{gathered}$$
其中$n_0$为正常数，则称该噪声为白噪声。

​ 取傅里叶反变换，可得到白噪声的自相关函数为
$$R(\tau )=\frac{n_0}{2}\delta (\tau )$$

任意两个时刻($\tau \ne 0 $)的随机变量都是不相关的。而且由于白噪声的带宽无限，所以其平均功率为无穷大。

​ 如果白噪声的取值的概率分布服从高斯分布，则称为高斯白噪声。

2.低通白噪声

​ 如果白噪声通过理想矩形的低通滤波器或理想低通信道，则输出的噪声称为低通白噪声。其功率谱密度为
$$P_n(f)=\{\begin{array}{ll}\frac{n_0}{2}& |f|\le f_H\\ 0& \text{其他}\end{array}$$
自相关函数为
$$R(\tau )=n_0{f}_H\frac{sin2\pi f_H\tau }{2\pi f_H\tau }$$

​ 所以，这种带限白噪声只有在$\tau =k/2f_H$上得到的随机变量才不相关。按照抽样定理对其进行抽样，则各抽样值是互不相关的随机变量。

3.带通白噪声

​ 如果白噪声通过理想矩形的带通滤波器或理想带通信道，则输出的噪声称为带通白噪声。

​ 设理想带通滤波器的传输特性为
$$H(f)=\{\begin{array}{ll}1& f_c-\frac{B}{2}\le |f|\le f_c+\frac{B}{2}\\ 0& \text{其他}\end{array}$$
其中$f_c$为中心频率，B为带通宽带。

​ 则输出噪声的功率谱密度为
$$P_n(f)=\{\begin{array}{ll}\frac{n_0}{2}& f_c-\frac{B}{2}\le |f|\le f_c+\frac{B}{2}\\ 0& \text{其他}\end{array}$$
​ 自相关函数为
$$R(\tau )=n_{0}B\frac{sin\pi B\tau }{\pi B\tau }cos2\pi f_c\tau$$
一般，带通滤波器的$B\ll f_c$，因此也称窄带滤波器，相应地把带通白噪声称为窄带高斯白噪声。

​ 从图中可以求出n(t)的平均功率为
$$N=n_{0}B$$
这个B指的是理想矩形的带通滤波器的带宽，对于实际的带通滤波器，B应是噪声等效带宽。