【随机过程】 1 - 相关与随机过程

相关与随机过程

1. 相关的直观表示

1.1 多维随机变量的联合概率密度与联合分布

  随机过程中最重要的概念就是相关。假设我们有两个随机变量X和Y

$$\begin{gathered} \text{Joint Distribution} \\ {f}_{X,Y}(x,y)=\frac{{\partial }^2}{{\partial }_x{\partial }_y}{F}_{X,Y}(x,y) \\ {F}_{X,Y}(x,y)=P(Z\le x,Y\le y) \end{gathered}$$

  多维随机变量联合概率密度就是联合分布函数的导数

1.2 两个随机变量的相关

  下面，我们想举几个例子，直观的表示两个随机变量之间的联系

1.2.1 Independent

$$\text{Independent}$$

$$f_{X,Y}(x,y)=\{\begin{array}{ll}\frac{1}{4}& |x|\le 1,|y|\le 1\\ 0& others\end{array}$$

  如果我们想要求XY的联合概率密度，其实就等于X和Y各自的概率密度的乘积

$$f_{X,Y}(x,y)=f_X(x)f_Y(y)$$

  X和Y是独立的，从图中也可以看出来，X改变的时候，Y的分布不会受到影响

  X从x1到x2到xn，Y的分布都是一样的

1.2.2 Correlated

$$\text{Correlated}$$

$$f_{X,Y}(x,y)=\{\begin{array}{ll}\frac{1}{\pi }& x^2+y^2\le 1\\ 0& others\end{array}$$

$$f_{X,Y}(x,y)\cancel{=}{f}_X(x)f_Y(y)$$

  当X和Y的相关关系从矩形区域变成了圆形区域，X和Y就有了相关关系，X取不同的值的时候Y的分布会发生变化

  现在，虽然X和Y有了相关关系，但是他们之间没有非常明显的相关趋势

1.2.3 Linear Correlation

$$\text{Linear Correlation}$$

$$f_{X,Y}(x,y)=\{\begin{array}{ll}\frac{1}{|\Omega |}& (x,y)\le \Omega \\ 0& others\end{array}$$

  当X和Y的相关关系从圆形区域变成纺锤形，现在我们发现，X的变化会引起Y的变化。并且这种变化非常有规律。随着X的增大，Y的均值随之增大。此时X和Y产生了线性的关联

  X和Y是线性关联，但又不是完全的线性。因为纺锤形是有宽度的，Y并不是随着X的增大而严格增大。这个线性度我们是有表征方法的。

  相关系数描述的就是这个纺锤形的胖瘦。相关系数越大，纺锤形越瘦。说明X和Y的线性度越高。如果线性度达到极限，就是一条线，也就变成了严格的线性相关。

2. 随机变量的线性相关

2.1 线性相关的求解及其含义

  在相关关系中，我们应该重点关注的是线性相关问题

$$\begin{gathered} Y=\alpha Z\Rightarrow E(Y-\alpha Z{)}^2\text{Mean Square Error} \\ \Rightarrow mi{n}_{\alpha }E(Y-\alpha Z{)}^2\Rightarrow {\alpha }_{opt}=\frac{E(ZY)}{E(Z^2)} \end{gathered}$$

  假设我们有两个随机变量Y和Z，我们希望计算Z和Y的相关关系，如果直接进行线性相关计算，多半是不行的，会有误差。

  因此，我们会引入均方误差的概念，去表征线性估计的误差。以均方误差最小为优化目标，最终得到的系数实际上就是互相关与自相关相除。

  如果Z和Y是严格的线性相关，均方误差必然是0。如果不是严格的相关，均方误差就不是0，并且反应在图像上就是纺锤形的宽度。

  而α的大小，反应在纺锤形上，就是斜率。这个纺锤形的长轴，就是最小均方误差意义下的线性估计。

2.2 相关的符号表示说明

  相关就是两个随机变量乘在一起求期望

$$\begin{gathered} \text{Correlation} \\ E(ZY) \end{gathered}$$

  不过我们看到的相关，可能会有另外一种表示

$$E((Z-E(Z))(Y-E(Y))$$

  这种写法实际上是对相关做了中心化以后的结果

$$E((Z-E(Z))(Y-E(Y))=E(ZY)-E(E(Z)Y)-E(ZE(Y))+E(Z)E(Y)$$

  没有随机性的东西可以放到相关外面，继续可以得到

$$\begin{gathered} E((Z-E(Z))(Y-E(Y))=E(ZY)-E(Z)E(Y)-E(Z)E(Y)+E(Z)E(Y) \\ =E(ZY)-E(Z)E(Y) \end{gathered}$$

  因此，我们发现，相关中心化和不做中心化实际上只是相差了一个常数。

  因为，一般来说，我们使用的随机变量均值是0，所以，常常就把相关写成前面的那种形式。

  所谓不相关，就是认为相关为0

$$\begin{gathered} \text{Uncorrelated: } \\ E(ZY)=0 \\ \text{ Or } \\ E(ZY)-E(Z)E(Y)=0\Rightarrow E(ZY)=E(Z)E(Y) \end{gathered}$$

2.3 独立与不相关

  独立与不相关之间，独立的要求更高。因为独立一定不相关。但是不相关不一定独立。

  我们下面举个例子。假设θ是(0,2π)上的均匀分布，有两个与θ有关的随机变量

$$\begin{gathered} \theta \sim U(0,2\pi )Z=sin(\theta ) \\ Y=cos(\theta ) \end{gathered}$$

  Y和Z都是与θ的，显然他们不是独立的。

$$Z^2+Y^2=1$$

  然后我们来计算一下相关性

$$\begin{gathered} E(Z)={\int }_{-\infty }^{\infty }sin\theta f_{\theta }(\theta )d\theta \\ ={\int }_0^{2\pi }sin\theta \frac{1}{2\pi }d\theta =0 \end{gathered}$$

$$E(Y)=0$$

$$E(ZY)=\frac{1}{2\pi }{\int }_0^{2\pi }sin\theta cos\theta d\theta =0$$

  可得

$$E(ZY)=E(Z)E(Y)$$

  因此，二者不相关但是也不独立

2.4 小结

  相关描述了两个随机变量的关联，但是这种关联是比较局限的

3. 相关的几何意义–内积

  下面，我们希望从几何上对相关有一些认识。相关可以看做是某种内积。

$$\begin{gathered} \text{Geometric View} \\ E(ZY)=<Z,Y>\Rightarrow \text{Inner Product} \end{gathered}$$

3.1 内积的性质

  内积是一个二元操作，满足三个性质

• 对称性

$$<X,Y>=<Y,X>$$

• 非负性

  矢量自身的内积大于等于0。并且，如果内积是0，矢量一定也是0

$$<X,X>\ge 0\Rightarrow <X,X>=0\iff X=0$$

• 双线性性质

  如果固定其中一个，看另外一个矢量，他们都是线性的。

$$\begin{gathered} \text{Bilinear} \\ <X,\alpha Y+\beta Z>=\alpha <X,Y>+\beta <X,Z> \\ <\alpha X+\beta Y,Z>=\alpha <X,Z>+\beta <Y,Z> \end{gathered}$$

3.2 相关与相关系数

3.2.1 相关与内积

  我们可以检查一下相关是否也满足这三个条件

• 对称性：相关也是可以交换的

$$E(ZY)=E(YZ)$$

• 非负性：自相关也是非负的

$$E|Z{|}^2\ge 0$$

  但是自相关为0，不能推导出Z是0，只能推导出概率是1

$$\begin{gathered} E|Z{|}^2=0\cancel{\Rightarrow }Z=0 \\ \Rightarrow P(Z=0)=1 \end{gathered}$$

  这里需要说明一下，在概率论中概率是1和确定性事件有差异。概率是0不表示事情发生不了。概率是1不表示事情一定发生。在[0,1]区间取到有理数的概率为0

• 双线性：相关也满足

3.2.2 相关系数与内积

  把相关看做成内积是非常重要的。因为内积是具有几何含义的，对应的是角度

$$cos\angle (x,y)=\frac{<x,y>}{(<x,x><y,y>{)}^{\frac{1}{2}}}$$

  把这个角度换到相关中，我们发现，这个角度就是相关系数的定义

$$cos\angle (X,Y)=\frac{E(ZY)}{(E{Z}^{2}E{Y}^2{)}^{\frac{1}{2}}}$$

3.3 内积与柯西不等式

  如果相关系数想要表示角度，就必须在(-1,1)的范围内，我们需要证明一下这个范围是否正确。

  使用柯西不等式即可

$$|<x,y>|\le (<x,x><y,y>{)}^{\frac{1}{2}}$$

  然后我们证明一下柯西不等式。柯西不等式的证明就是韦达定理

$$\begin{gathered} \text{Let} \\ g(x,y)=|<\alpha x+y><\alpha x+y>|\ge 0 \end{gathered}$$

  使用使用双线性性质展开

$${\alpha }^2<x,x>+2\alpha <x,y>+<y,y>\ge 0$$

  因为内积是非负的，因此这是一个开口向上的抛物线。必定有0或者1个根。

$$\begin{gathered} \Delta \le 0\Rightarrow b^2-4ac\le 0 \\ \Rightarrow 4<x,y{>}^2-4<x,x><y,y>\le 0 \\ \Rightarrow |<x,y>|\le (<x,x><y,y>{)}^{\frac{1}{2}} \end{gathered}$$

  柯西不等式有很多种形式

$$\begin{gathered} |\sum _k{x}_k{y}_k|\le (\sum _k{x}_k^2{)}^{\frac{1}{2}}(\sum _k{y}_k^2{)}^{\frac{1}{2}} \\ \int f(x)g(x)dx\le (\int f^2(x)dx\int g^2(x)dx{)}^{\frac{1}{2}} \end{gathered}$$

3.4 从几何角度看待线性估计

  现在，我们想知道最优估计系数

$$Y=\alpha Z$$

  之前是从代数角度求解的。现在我们想通过几何进行求解。可以从投影的角度来看待。

$$\begin{gathered} \hat{Y}=||Y||\ast cos(\theta )\ast \frac{Z}{||Z||} \\ =||Y||\ast \frac{E(ZY)}{||Y||||Z||}\frac{Z}{||Z||} \\ =\frac{E(ZY)}{||Z|{|}^2}=\frac{E(ZY)}{E(Z^2)} \end{gathered}$$

4. 相关函数

4.1 随机过程的定义

  为了引入相关函数，我们就要引入随机过程。随机过程就包含了随机和过程两方面

• 随机：随机变量
• 过程：就是一个标记，可以是时间也可以是其他的

  随机过程就是一组或一堆随机变量。t不过是个指标。如果t是一维的，不需要做特别说明。如果t不是一维的，就叫做条件随机场

$$\text{Random Field}$$

4.2 相关函数的定义

  定义了随机过程之后，就可以定义相关函数了。相关函数，就是一个随机过程中任意两个点的相关。因为随机过程中，任取一个点，就是一个随机变量。任意两个随机变量之间做相关，得到的就是相关函数。

$$\begin{gathered} \text{(Auto) Correlation Function} \\ {R}_Z(t,s)=E(Z(t)Z(s)) \end{gathered}$$

  相关函数满足这样的特点

• 具有对称性
• 满足柯西不等式

$$\begin{gathered} R_Z(t,s)=R_z(s,t) \\ |R_Z(t,s)|\le (R_Z(t,t)R_z(s,s){)}^{\frac{1}{2}} \end{gathered}$$

4.3 平稳与宽平稳

  相关函数是个二元函数，我们希望把它变成一元的。这个时候就需要引入新的假设以及新的概念。

  我们引入平稳的概念。平稳性是一种不变特性。就是随机过程的某一类统计性质，随着时间的发展变化而保持不变。

  随机过程中有很多种平稳。这里介绍宽平稳。

  宽平稳中有两个统计特性不变。均值随着时间的变化而不变。相关函数在两个变元上，同时平移D，结果保持不变

$$\begin{gathered} \text{Wide stationary} \\ E(Z(t))=m(t)\equiv m(1) \\ {R}_Z(t,s)=R_Z(t+D,s+D)\forall D\in R \\ \Rightarrow R_Z(t,s)=R_Z(t-s)(2) \end{gathered}$$

  宽平稳的这两个特性，第二个比较重要。因为，如果随机过程的均值不是恒定的，我们可以通过一个确定性操作进行处理，即减去一个均值过程

$$Z(t)-m(t)$$

  但是，如果第二条没有得到满足，也无法使用确定性的操作来进行处理。第二条使得宽平稳随机过程的相关函数，只依赖于两个时刻的差值。然后就相关函数就变成一元的了

4.4 宽平稳随机过程举例

4.4.1 调制信号

$$\text{Modulated Signal}$$

$$\begin{gathered} Z(t)=A(t)Cos(2\pi f_{0}t+\theta ) \\ A(t)r.v.\theta \sim U(0,2\pi )independent \end{gathered}$$

  首先计算一阶矩

$$\begin{gathered} E(Z(t))=E(A(t)Cos(2\pi f_{0}t+\theta )) \\ =E(A(t))E(Cos(2\pi f_{0}t+\theta )) \\ =E(A(t)){\int }_0^{2\pi }\frac{1}{2\pi }Cos(2\pi f_{0}t+\theta )d\theta =0 \end{gathered}$$

  再计算下相关函数

$$R_Z(t,s)=E(A(t)(A(s))E(Cos(2\pi f_{0}t+\theta )Cos(2\pi f_{0}s+\theta ))$$

  积化和差公式

$$\begin{gathered} R_Z(t,s)=E(A(t)(A(s))E(\frac{cos(2\pi f_0(t+s)+2\theta )}{2}+\frac{cos(2\pi f_0(t-s))}{2}) \\ =E(A(t)(A(s))(E(\frac{cos(2\pi f_0(t+s)+2\theta )}{2})+\frac{cos(2\pi f_0(t-s))}{2}) \end{gathered}$$

  因为

$$E(\frac{cos(2\pi f_0(t+s)+2\theta )}{2})=0$$

  故

$$R_Z(t,s)=E(A(t)(A(s))\frac{cos(2\pi f_0(t-s))}{2}$$

  因此，只要振幅过程是个宽平稳随机过程，调整信号不管是振幅调制还是相位调制，就都是一个宽平稳随机过程。

4.4.2 随机电报

  随机电报的特点在于，信号只有1和-1两种

  在[s,t]区间中，1和-1的切片次数为k，并且概率是已知的

$$\text{Random Telegraph Signal}$$

$$[S,t]\Rightarrow P(k)=\frac{\lambda (t-s{)}^k}{k!}exp(-\lambda (t-s))$$

  这其实就是一种泊松分布

$$\text{Poisson Distributrion}$$

  计算一下二阶矩

$$E(Z(t)Z(s))=R_Z(t,s)$$

  我们发现Z(t)*Z(s)的乘积只有1和-1两种情况。因此，求均值就是用乘积为1的概率假设乘积为-1概率的和即可

$$R_Z(t,s)=1\ast P_1+(-1)\ast P_{-1}(i)$$

  只要在t到s之间翻转的次数是偶数次，乘积必然是1，翻转次数为奇数次，乘积必然是-1。

$$\begin{gathered} P_1=P([s,t]even)=\sum _{keven}\frac{\lambda (t-s{)}^k}{k!}exp(-\lambda (t-s))(ii) \\ {P}_{-1}=P([s,t]odd)=\sum _{kodd}\frac{\lambda (t-s{)}^k}{k!}exp(-\lambda (t-s))(iii) \end{gathered}$$

  我们表示一下指数函数的幂级数展开

$$e^{\lambda (t-s)}=\sum _{k=0}^{\infty }\frac{(\lambda (t-s){)}^k}{k!}$$

  加一个负号

$$e^{-\lambda (t-s)}=\sum _{k=0}^{\infty }\frac{(-\lambda (t-s){)}^k}{k!}$$

  因为加了一个负号,如果k是偶数，底下是正的，如果k是奇数，底下是负的。因此，只要把两个相加取平均，得到的就是所有偶数项的和；做差取平均，得到的就是所有奇数项的和

$$\begin{gathered} \sum _{keven}\frac{\lambda (t-s{)}^k}{k!}=\frac{e^{\lambda (t-s)}+e^{-\lambda (t-s)}}{2}(iv) \\ \sum _{kodd}\frac{\lambda (t-s{)}^k}{k!}=\frac{e^{\lambda (t-s)}-e^{-\lambda (t-s)}}{2}(v) \end{gathered}$$

  把(iv)和(v)代入(ii)和(iii)可得

$$\begin{gathered} P_1=P([s,t]even)=\sum _{keven}\frac{\lambda (t-s{)}^k}{k!}exp(-\lambda (t-s)) \\ =\frac{e^{\lambda (t-s)}+e^{-\lambda (t-s)}}{2}exp(-\lambda (t-s)) \\ =\frac{1+e^{-2\lambda (t-s)}}{2}(vi)P_{-1}=P([s,t]odd)=\sum _{kodd}\frac{\lambda (t-s{)}^k}{k!}exp(-\lambda (t-s)) \\ =\frac{e^{\lambda (t-s)}-e^{-\lambda (t-s)}}{2}exp(-\lambda (t-s)) \\ =\frac{1-e^{-2\lambda (t-s)}}{2}(vii) \end{gathered}$$

  把(vi)和(vii)代入(i)

$$\begin{gathered} R_Z(t,s)=1\ast P_1+(-1)\ast P_{-1} \\ =\frac{1+e^{-2\lambda (t-s)}}{2}-\frac{1-e^{-2\lambda (t-s)}}{2} \\ =e^{-2\lambda (t-s)} \end{gathered}$$

  我们发现，随机电报信号就是一个宽平稳随机过程