【随机过程】 2 - 随机过程的时域分析

随机过程的时域分析

1. 一般随机过程的相关函数的性质

  我们在前面介绍过相关函数的性质。因为相关函数是从内积引出来的，因此，相关函数的性质实际上是来源于内积

$$\begin{gathered} (1)R_Z(t,s)=R_Z(s.t) \\ (2)|R_Z(t,s)|\le (R_z(t,t)R_z(s,s){)}^{\frac{1}{2}} \end{gathered}$$

2. 宽平稳随机过程的性质

  相关函数的性质可以在宽平稳随机过程中得到推广，并且还具有其他的新性质

2.1 偶函数

  宽平稳随机过程的相关函数是个偶函数

$$\begin{gathered} R_Z(t,s)=R_Z(t-s) \\ {R}_Z(t,s)=R_Z(s-t) \\ {R}_Z(t,s)=R_Z(t,s)\Rightarrow R_Z(t-s)=R_Z(s-t) \\ \Rightarrow R_Z(\tau )=R_Z(-\tau ) \end{gathered}$$

2.2 零点取得最大值

$$\begin{gathered} |R_Z(t,s)|\le (R_Z(t,t)R_Z(s,s){)}^{\frac{1}{2}} \\ \Rightarrow |R_Z(t-s)|\le R_Z(0) \end{gathered}$$

  在宽平稳随机过程中，柯西不等式会变成0。也就是相关函数在0点处达到最大值。

  这种性质在电子信息领域经常会遇到，很多信号对齐了以后的相关是针形的，而如果信号没有对齐，就是空的。我们常常会用这种方法进行信号的提取

2.3 正定性

2.3.1 正定性的定义

  相关函数具有正定性。这是个非常重要的性质

  首先给正定性下一个定义

$$\text{Positive Definite}$$

$$f(x)\text{is P.d.}\iff \forall n,\forall x_1,x_2,...,x_n(f(x_i-x_j){)}_{ij}\ge 0$$

  如果函数是正定的，那么任取函数中n个变量，让下标i和下标j的差对应的函数值对应的排列成一个矩阵，这个矩阵一定是正定的。

  矩阵正定有很多种等价形式，其中一种就是二次型大于0。不过教科书中通常管大于等于0叫做非负定。我们这里就叫做正定了

$$A\in R^{n\ast m}\ge 0\iff \forall \alpha \in R^n{\alpha }^{T}A\alpha \ge 0$$

2.3.2 从正定性引入相关函数的性质

  我们从函数的正定性出发，看看能够得到相关的什么性质

  首先证明正定能够得到相关函数是非负的

$$R_Z(\tau )\text{ is P.d.}\Rightarrow R_Z(0)\ge 0$$

  证明

  我们就取1个数作为序列。则这个序列差构成的矩阵是正定的

$$\begin{gathered} n=1 \\ \forall x\Rightarrow R_Z(x_1-x_1)=R_Z(0)\ge 0 \end{gathered}$$

  然后，能够证明，相关函数在零点处取得最大值

$$R_Z(\tau )\text{ is P.d.}\Rightarrow R_Z(0)\ge |R_Z(\tau )|$$

$$\begin{gathered} n=2,x_1=0,x_2=\tau \\ \forall x\Rightarrow \left(\begin{array}{cc}{R}_Z(x_1-x_1)& R_Z(x_1-x_2)\\ R_Z(x_2-x_1)& R_Z(x_2-x_2)\end{array}\right) \\ \Rightarrow \left(\begin{array}{cc}{R}_Z(0)& R_Z(-\tau )\\ R_Z(\tau )& R_Z(0)\end{array}\right)\ge 0 \end{gathered}$$

  由于矩阵是正定的，必然是对称的

$$R_Z(-\tau )=R_Z(\tau )$$

  进而能够得到柯西不等式

$$R_Z(0{)}^2-R_Z(\tau {)}^2\ge 0\Rightarrow R_Z(0)\ge |R_Z(\tau )|$$

2.3.3 相关函数正定性的证明

  下面，我们来证明相关函数的正定性

  已知
$$\forall n,\forall {\tau }_1,...,{\tau }_n$$

  证明

$$R=(R_Z({\tau }_i-{\tau }_j){)}_{ij}\ge 0$$

  我们用二次型来证明

$$\forall \alpha \in R^n\alpha =({\alpha }_1,...,{\alpha }_n{)}^T$$
$$\begin{gathered} {\alpha }^{T}R\alpha =\sum _{i=1}^n\sum _{j=1}^n{R}_Z({\tau }_i-{\tau }_j){\alpha }_i{\alpha }_j \\ =\sum _{i=1}^n\sum _{j=1}^{n}E(Z({\tau }_i)Z({\tau }_j)){\alpha }_i{\alpha }_j \\ =E(\sum _{i=1}^n\sum _{j=1}^{n}Z({\tau }_i)Z({\tau }_j){\alpha }_i{\alpha }_j) \\ =E((\sum _{i=1}^{n}Z({\tau }_i){\alpha }_i{)}^2)\ge 0 \end{gathered}$$

  我们也可以用矩阵的形式来进行证明

  假设一组数据Z

$$Z=(Z_1,...Z_n{)}^T$$

  则，相关矩阵可以表示为

$$R=E(Z{Z}^T)$$

  二次型可以表示为

$${\alpha }^{T}R\alpha ={\alpha }^{T}E(Z{Z}^T)\alpha =E({\alpha }^{T}Z{Z}^T\alpha )=E(({\alpha }^{T}Z{)}^2)\ge 0$$

  正定性是相关矩阵的特征性质，是充分必要的。

  相关函数一定正定，正定矩阵，一定能够找到一个随机过程，这个正定矩阵就是它的相关函数

2.4 均方周期性

  接下来的两个性质，都是从局部推导到全局性质。

  因为，相关函数在零点处取得最大。如果相关函数中，有一个值，与零点处的相关函数是一样的，那么这个相关函数必然是震荡的，有周期性的

$$\text{Mean Square Periodic}{R}_Z(0)=R_Z(T)\Rightarrow R_Z(\tau )=R_Z(\tau +T)$$

  我们来证明一下这件事情。

  我们需要引入一个中间量–均方周期

$$E|Z(\tau +T)-Z(\tau ){|}^2$$

  算一下这个式子

$$\begin{gathered} E|Z(\tau +T)-Z(\tau ){|}^2=E(Z(\tau +T)Z(\tau +T)-2Z(\tau +T)Z(\tau )+Z(\tau )Z(\tau )) \\ =2(R_Z(0)-R_Z(T)) \end{gathered}$$
  已知

$$R_Z(0)=R_Z(T)$$

  可得

$$E|Z(\tau +T)-Z(\tau ){|}^2=2(R_Z(0)-R_Z(T))=0$$

$$\begin{gathered} |R_Z(\tau )-R_Z(\tau +T)|=|E(Z(0)Z(\tau ))-E(Z(0)Z(\tau +T))| \\ =|E(Z(0)(Z(\tau )-Z(\tau +T))|\le E(Z(0{)}^2)E(|Z(\tau )-Z(\tau +T){|}^2{)}^{\frac{1}{2}}=0 \end{gathered}$$

$$R_Z(\tau )-R_Z(\tau +T)=0\Rightarrow R_Z(\tau )=R_Z(\tau +T)$$

2.5 均方连续性

  在这里，我们首先提出一个问题，矩形窗函数，能够作为某个宽平稳随机过程的相关函数吗?

2.5.1 性质描述

  下面是第二个从局部可以推导出全局特性的性质。

  假如相关函数在零点处连续，必然有相关函数在全局是连续的

$$R_Z(\tau )\text{ is Continuous at 0}\Rightarrow R_Z(\tau )\text{ is continuous at }\forall \tau$$

2.5.2 连续性与极限

(1) 随机过程极限的定义

  然后，我们需要介绍一下，什么是连续。

  先从确定性变量的连续性开始说起。

  如果我们说一个函数在x₀连续，必然有

$$li{m}_{x\to x_0}f(x)=f(x_0)$$

  如果想要证明这个结论，我们需要引入均方连续进行证明

$$\text{Mean Square Continuous}$$

$$li{m}_{\Delta \to 0}E|Z(\tau +\Delta )-Z(\tau ){|}^2=0$$

  因此，现在我们问题变成了求极限

  首先对极限进行定义

$$\begin{gathered} \forall ϵ>0,\exists \delta >0s.t.\forall \Delta \subset \delta \\ |f(x+\Delta )-f(x)|\le ϵ \\ \Rightarrow li{m}_{\Delta \to 0}f(x+\Delta )=f(x) \end{gathered}$$

  在极限的定义中，最重要的参数是距离，这里使用的是欧式距离。如果是曲面，我们使用的是黎曼度量。

  而如果变量有随机性的话，我们使用的距离就不能使用欧式距离了，要用均方距离进行替代。两个随机变量之间的距离，一定是均方距离

  我们来定义一下随机变量的距离

$$\begin{gathered} \text{Mean Square Distance} \\ d(Z,Y)=(E[(Z-Y{)}^2]{)}^{\frac{1}{2}} \end{gathered}$$

  然后定义一下随机变量的极限

$$Z_n(r.v.)\underrightarrow{n\to \infty }Z(r.v.)$$

$$\begin{gathered} \forall ϵ>0\exists N>0 \\ s.t.n>N \\ E((Z_n-Z{)}^2{)}^{\frac{1}{2}}\le ϵ \end{gathered}$$

(2) 距离的定义

  下面说一下，什么是距离。距离是极限的灵魂，不同的极限使用不同的距离，也就有了不同的微积分。距离应该满足如下三个条件

• 非负性
• 对称性
• 满足三角不等式

  我们下面验证一下，均方距离是否满足这三条要素

  首先均方距离是平方的均值，必定是非负的

  同时，因为里面做了平方，必然满足对称性

  因此，最重要的是要证明均方距离是否满足三角不等式，这里证明一下两边之差小于第三边

$$|E(Z_1^2{)}^{\frac{1}{2}}-E(Z_2^2{)}^{\frac{1}{2}}|\le |E(Z_1-Z_2{)}^2{|}^{\frac{1}{2}}$$

  把左边和右边平方

$$E(Z_1^2)+E(Z_2^2)-2E(Z_1^2{)}^{\frac{1}{2}}E(Z_2^2{)}^{\frac{1}{2}}\le |E(Z_1-Z_2{)}^2|=E(Z_1^2)+E(Z_2^2)-2E(Z_1{Z}_2)$$

  即证明

$$E(Z_1^2{)}^{\frac{1}{2}}E(Z_2^2{)}^{\frac{1}{2}}\ge E(Z_1{Z}_2)$$

  这就是柯西不等式。因此三角不等式成立。所以，均方距离可以作为距离看待。

2.5.3 均方连续证明

$$E|Z(\tau +\Delta )-Z(\tau ){|}^2=2(R_Z(0)-R_Z(\Delta ))$$

  由于相关函数在零点连续

$$li{m}_{\Delta \to 0}{R}_Z(\Delta )=R_Z(0)\Rightarrow li{m}_{\Delta \to 0}E|Z(\tau +\Delta )-Z(\tau ){|}^2=0$$

$$\begin{gathered} |R_Z(\tau +\Delta )-R(\tau )|=|E(Z(\tau +\Delta )Z(0))-E(Z(\tau )Z(0))| \\ =|E((Z(\tau +\Delta )-Z(\tau ))Z(0))|\le [E(Z(\tau +\Delta )-Z(\tau ){)}^{2}E(Z(0{)}^2){]}^{\frac{1}{2}} \end{gathered}$$

  因此

$$li{m}_{\Delta \to 0}|R_Z(\tau +\Delta )-R(\tau )|=li{m}_{\Delta \to 0}[E(Z(\tau +\Delta )-Z(\tau ){)}^{2}E(Z(0{)}^2){]}^{\frac{1}{2}}=0$$

  因此，我们得到了，如果相关函数连续，则相关函数在任意点处均连续

2.5.4 小结

  不管是均方周期性还是均方连续性，都是一个点处的性质，但是有了宽平稳，就能够把这个性质推移到任意点去。因此，零点就是一个代表

  然后，这里回答一下一开始的问题，矩形窗函数不可以写成一个宽平稳随机过程的相关函数

$$\text{Rectangle Window}$$

  答案是不可以。因为矩形窗函数在零点处是连续的，但是在矩形的两个边缘处有两个阶跃函数，是不连续的，不满足均方连续的性质。因此，矩阵窗不可以写成某个宽平稳随机过程相关函数的性质

3. 函数的正定性与傅里叶变换

  相关函数的性质有两个来源，从随机过程的角度，来源于宽平稳。从函数的角度，来源于正定

3.1 性质

  函数正定性的定义是不太实用了，我们希望能够找到一种更加直接的方法，去判断一个函数是否具有正定性

  这里有个非常重要的结论

$$\text{Bochner}$$

  这个结论说:如果一个函数是正定的，当且仅当这个函数的傅里叶变换是正的

$$f(x)\text{ P.d.}\Rightarrow F(\omega )={\int }_{-\infty }^{+\infty }f(x)exp(-j\omega x)dx$$

3.2 证明

$$g(x)=exp(j\omega x)$$

  我们首先证明g(x)是正定的，我们使用定义进行

$$\begin{gathered} \forall n,x_1,...,x_n \\ B=(exp(j\omega (x_i-x_j){)}_{ij} \\ \alpha =({\alpha }_1,...,{\alpha }_n{)}^T \end{gathered}$$

  使用二次型证明

$$\begin{gathered} {\alpha }^{H}B\alpha =\sum _{i=1}^n\sum _{j=1}^{n}exp(j\omega (x_i-x_j))\overline{{\alpha }_i}{\alpha }_j \\ =\sum _{i=1}^n\sum _{j=1}^n\overline{{\alpha }_i}exp(j{\omega }_i){\alpha }_{j}exp(-j{\omega }_j) \\ =(\sum _{i=1}^n\overline{{\alpha }_i}exp(j{\omega }_i){)}^2\ge 0 \end{gathered}$$

  因此g(x)一定正定

  我们有这样的结论

  如果函数h(x)正定，那么乘以一个正的系数得到的函数也一定是正定的

$$\begin{gathered} h(\omega ,x)\text{ is P.d.} \\ \sum _{k=1}^n{a}_{k}h({\omega }_k,x)\text{ is P.d.}{a}_k>0 \end{gathered}$$

  累加和可以看做是积分

$${\int }_{-\infty }^{+\infty }{a}_{k}h({\omega }_k,x)\text{ is P.d.}$$

  我们来看我们的f(x)

$$f(x)=\frac{1}{2\pi }{\int }_{-\infty }^{+\infty }F(\omega )exp(j\omega x)d\omega$$

  因为exp(jωx)是正定的，傅里叶变换F(ω)是正的，因此函数f(x)一定是正定的

3.3 应用

3.3.1 矩形窗

  我们希望通过这个性质来分析很多函数。

  首先，我们接着来考虑矩形窗是否能够写成宽平稳随机过程的相关函数的形式

  因为，如果能够写成，宽平稳随机过程相关函数必定是正定的，因此，矩形窗的傅里叶变换应该是正的，但是,矩形窗的傅里叶变换是Sa函数，并不是完全大于0的

$$Sa(x)=\frac{sin(x)}{x}$$

  因此，矩形窗一定不能写成相关函数

3.3.2 三角窗

  三角窗可以吗?因为三角窗是两个矩形窗卷积得到的，时域的卷积就是频域的乘积。因此三角窗的频谱就是矩形窗的频谱的平方Sa²(x)

  因此，三角窗的傅里叶变换一定是正的，满足函数正定性的条件，因此，能够写成相关函数的形式

3.3.3 幅度相位调制

  上节课计算的幅度相位调制信号是宽平稳的

$$cos(2\pi f\tau )$$

  余弦函数的频域就是正负轴的两个冲激函数，一定是大于0的。