【随机过程】 6 - 多元相关

多元相关

1. 概述

  相关是研究随机过程的重要工具。之前，我们研究的都是两个随机变量的相关性。现在我们想扩展到随机矢量的相关性。对多元相关问题研究的角度有两个，一个是从分布的角度来看的，另一个是从直观的角度来看的。

$$\begin{gathered} Z,Y\Rightarrow E(ZY) \\ Z=(Z_1,...,Z_n{)}^T \\ \to \text{Distribution} \\ \to \text{Intuitive} \end{gathered}$$

  事实上，从分布的角度来表示相关并不容易，因为相互之间的作用可能会非常复杂。

  我们就在二维空间上用等高线的形式，去描述两个随机变量的关系

• 如果两个随机变量的等高线是个圆，那么这个两个随机变量不独立，但是没有明显的相关性
• 如果两个随机变量的等高线是个椭圆，那么这个两个随机变量不独立，并且具有明显的相关性
• 如果两个随机变量的等高线是条直线，那么两个随机变量是不独立的，并且二者之间具有强相关性

  如果是更高维度的分布函数，就很难统计了。我们希望使用更加直观的方法去描述多元随机变量之间的相关关系。

  事实上，我们可以用更加简单的方法，通过相关矩阵的方法去描述多元相关问题

$$\begin{gathered} E(Z_i{Z}_j)E(Z_i^2) \\ (1\le i<j\le n)\Rightarrow C_n^2=\frac{n(n-1)}{2} \end{gathered}$$

  除了自相关以外，还有n(n-1)/2种的互相关

  我们相关矩阵得到的描述是这样的

$$\begin{gathered} \text{Correlation Matrix} \\ E(Z{Z}^T)=\left(\begin{array}{ccccc}E(Z_1^2)& E(Z_1{Z}_2)& ...& E(Z_1{Z}_n)& \\ E(Z_2{Z}_1)& E(Z_2^2)& ...& E(Z_2{Z}_n)& \\ ...& ...& ...& ...& \\ E(Z_n{Z}_1)& E(Z_n{Z}_2)& ...& E(Z_n^2)& \end{array}\right) \end{gathered}$$

  相关矩阵具有这样的性质

• 对称
• 正定

  下面，我们将基于相关矩阵，从三个不同的角度去看待相关矩阵

• 白化
• PCA
• KL展开

2. 三个角度看待相关矩阵

2.1 白化

  首先第一个角度，是去相关化的角度，我们知道，我们的随机变量之间一般都是有相关性的，但是，如果我们通过某种线性变换，然后随机变量之间的相关性可以被去掉，这个动作就叫白化，也叫做去相关性

$$\text{Decorrelation }\text{ (Whiten) }$$

$$\begin{gathered} \exists AY=AZ \\ Z\in {\mathbb{R}}^{n}A\in {\mathbb{R}}^{n\ast n} \end{gathered}$$

  经过白化处理得到的相关矩阵Y应该是个对角阵

$$E(Y{Y}^H)=diag({\lambda }_1,....,{\lambda }_n)$$

  事实上，求解A矩阵是个不适定的问题。因为未知数有n*n个，但是方程只有
n(n-1)/2个。但是我们有一些先验知识。

  我们表示一下Y的相关矩阵

$$R_Y=E(Y{Y}^T)=E(AZ{Z}^T{A}^T)=AE(Z{Z}^T)A^T=A{R}_Z{A}^T$$

  我们知道相关矩阵R_Z是对称的，一定可以做谱分解(特征分解)

$$R_Z=\sum _{k=1}^n{\lambda }_k{u}_k{u}_k^T=\left(\begin{array}{ccc}{u}_1& ...& u_n\end{array}\right)\left(\begin{array}{ccc}{\lambda }_1& & \\ & ...& \\ & & {\lambda }_n\end{array}\right)\left(\begin{array}{c}{u}_1^T\\ ...\\ u_n^T\end{array}\right)=U\Lambda U^T$$

  其中U是R_Z的特征向量矩阵，并且也是个正交矩阵

$$R_Y=A{R}_Z{A}^T=(AU)\Lambda (U^T{A}^T)$$

  中间的矩阵就是个对角阵，因此，我们就得到了A

$$A=U^T$$

2.2 PCA

2.2.1 原理

$$\text{Principle Component Analysis}$$

  再来看看PCA

  对于PCA来说，最重要的有两个方向

• 能量分布最大的方向
• 损失最小的方向

  我们就是要找一个方向，然随机矢量投影在这个方向上，并且具有最大的方差

$$Pro{j}_{\alpha }Z=\frac{<\alpha ,Z>}{<\alpha ,\alpha >}\alpha =\frac{{\alpha }^{T}Z}{{\alpha }^T\alpha }\alpha$$

  方差表达式为
$$E||Pro{j}_{\alpha }Z|{|}^2=E(\frac{||{\alpha }^{T}Z|{|}^2}{||\alpha |{|}^4}||\alpha |{|}^2)=\frac{E(|{\alpha }^{T}Z{|}^2)}{||\alpha |{|}^2}=E((\frac{\alpha }{||\alpha ||}{)}^{T}Z{)}^2$$

  即求在方向向量为单位向量条件下的最大方差

$$ma{x}_{\alpha }E[({\alpha }^{T}Z{)}^2],\text{ s.t. }||\alpha |{|}^2=1$$

$$\begin{gathered} L(\alpha ,\lambda )=E[({\alpha }^{T}Z{)}^2]+\lambda ({\alpha }^T\alpha -1) \\ ={\alpha }^{T}E(Z{Z}^T)\alpha +\lambda ({\alpha }^T\alpha -1) \\ ={\alpha }^T{R}_Z\alpha +\lambda ({\alpha }^T\alpha -1) \end{gathered}$$

  求导
$${\nabla }_{\alpha }L(\alpha )=2R_Z\alpha -2\lambda \alpha =0\Rightarrow R_Z\alpha =\lambda \alpha$$

  可以看出来，这个方向矢量一定是特征矢量。但是是哪个特征矢量呢？我们还要分析一下目标函数

$$ma{x}_{\alpha }E[({\alpha }^{T}Z{)}^2]={\alpha }^T{R}_Z\alpha =\lambda {\alpha }^T\alpha =\lambda$$

  因此，我们要找的，就是最大的特征值对应的特征矢量

2.2.2 PCA与去相关

  PCA本质上也是在做去相关。因为经过PCA找到了主成分方向，数据彼此之间就没有相关性了

  说到去相关，可以介绍一些图像压缩的问题

  图像本质上是个相关性很强的数据，如果我们想把图像数据压缩，如果直接把图像切出来一部分，是肯定不行的，因为会造成极大的信息损失

  图像压缩一般有这样的步骤

$$\begin{gathered} (1)\text{ Transform Coding 变换编码} \\ (2)\text{ Motion Coding 运动编码} \\ (3)\text{ Entropy Coding 熵编码} \end{gathered}$$

  变换编码首先要把图像切成不同的小块，然后对每个小块做变换，然后实现去相关。一般图像去相关不会使用PCA，因为每次都要计算相关矩阵，计算量太大。一般会使用离散余弦变换DCT或者离散小波变换DWT。因为他们的基的确定的，直接把图片投影到这些基底上即可。能够实现图片的变换编码

  第二步是做运动编码，因为图片的逐帧之间可能差异并不大，只需要传递前后图像的差值即可，能够大量节约带宽

  第三步是熵编码，也就是无损压缩，比如rar技术。

  但是，由于现在通讯带宽很大，用不完，所以，图像压缩技术逐渐没人研究了

2.2.3 PCA几何图形影响因素

  下面我们想研究个有趣的问题，主成分与x轴的夹角与随机变量的相关性有关系吗？

  我们假设有这样的问题

$$\begin{gathered} Z=(Z_1,Z_2)E(Z_1)=E(Z_2)=0E(Z_1^2)=E(Z_2^2)=1 \\ E(Z_1{Z}_2)=\rho \end{gathered}$$

  假设两个随机变量均值为0，方差为1，相关为ρ，我们计算一下随机矢量Z的特征值和主成分方向

$$R_Z=\left(\begin{array}{cc}1& \rho \\ \rho & 1\end{array}\right)$$

$$\{\begin{array}{l}{\lambda }_1+{\lambda }_2=2\\ {\lambda }_1{\lambda }_2=1-{\rho }^2\end{array}$$

$$\Rightarrow \{\begin{array}{l}{\lambda }_1=1+\rho \\ {\lambda }_2=1-\rho \end{array}$$

  得到特征向量

$$\begin{gathered} {\lambda }_1\Rightarrow U_1=\left(\begin{array}{c}1\\ 1\end{array}\right)\frac{1}{\sqrt{2}} \\ {\lambda }_2\Rightarrow U_2=\left(\begin{array}{c}1\\ -1\end{array}\right)\frac{1}{\sqrt{2}} \end{gathered}$$

  我们发现，主成分与x轴的夹角相关系数ρ并没有什么关系。那么主成分与x轴的夹角与什么有关?相关系数ρ又决定了什么呢?

  事实上，相关系数ρ决定了两个随机变量组成的纺锤形的胖瘦。ρ越大，纺锤形越瘦，相关度好。ρ=1的时候，就退化成一根线了。ρ=0的时候，就变成了一个圆，没有相关性。

  而主成分的方向与两个随机变量的方差有关系。如果两个随机变量方差相等，那么他们投影在x和y轴的方差分量也应该是相等的。夹角就是45度

2.3 展开

2.3.1 随机矢量的KL展开

  第三个角度是从展开讲的

  我们从去相关的结果来看

$$\begin{gathered} Y=AZ=U^{T}Z \\ Z=UY=\left(\begin{array}{cc}{u}_1& ...u_n\end{array}\right)\ast \left(\begin{array}{c}{Y}_1\\ ...\\ Y_n\end{array}\right)=\sum _{k=1}^n{U}_k{Y}_k \end{gathered}$$

  这个展开非常有特点。把Z展开为多个向量的线性组合。

  这个展开中Y_k在随机变量的内积角度是正交的，而U_k是标准正交基，在欧式空间上是正交的。

{ U k }  Orthonongal  U i T U j = 0 ( i = j ) { Y k }  Orthonongal  E ( Y i Y j ) = 0 ( i = j ) \{U_k \} \text{ Orthonongal }\quad U_i^TU_j = 0 \quad(i \cancel = j) \\ \{ Y_k\} \text{ Orthonongal }\quad E(Y_iY_j) = 0 \quad (i \cancel = j) {Uk​} Orthonongal UiT​Uj​=0(i= ​j){Yk​} Orthonongal E(Yi​Yj​)=0(i= ​j)

  这是一种双正交展开

$$\text{Bi-Orthogonal}\Rightarrow \text{Karhunan-Loeve Expansion}$$
  使用KL展开的时候，并不要求随机过程具有宽平稳的特性

2.3.2 随机过程的KL展开

   KL展开也可以推广到连续时间的随机过程上去

$$\text{Mercer Theorem}Z(t)=\sum _{k=-\infty }^{+\infty }{\alpha }_k{\varphi }_k(t)$$

  其中φk在函数空间内积为0，α是随机变量，在随机变量空间上内积为0

$$\begin{gathered} {\int }_I{\varphi }_i(t){\varphi }_j(t)dt=0 \\ E({\alpha }_i{\alpha }_j)=0(i\cancel{=}j) \end{gathered}$$

  φ是相关函数的特征函数

$${\int }_I{R}_z(t,s){\varphi }_k(s)ds={\lambda }_k{\varphi }_k(t)$$

  这其实就是离散版本的累加和

$$\sum _j{R}_Z(i,j){\varphi }_k(j)={\lambda }_k{\varphi }_k(j)\iff R_Z{\varphi }_k=\lambda {\varphi }_k$$

2.3.3 周期性宽平稳随机过程的KL展开

$$Z(t)=\sum _{k=-\infty }^{+\infty }{\alpha }_k{\varphi }_k(t)$$

  刚才我们介绍的KL展开，都是没有要求宽平稳条件的。如果我们加入宽平稳的条件会怎么样呢?

  有了宽平稳的条件之后，特征函数其实就是复指函数。

$$\begin{gathered} {\int }_I{R}_Z(t-s){\varphi }_k(s)ds={\lambda }_k{\varphi }_k(t) \\ {\varphi }_k(t)=exp(j{\omega }_{k}t) \end{gathered}$$

  我们来验证一下

$${\int }_I{R}_Z(t-s)exp(j{\omega }_{k}s)ds$$

  换元

$$
\text{Let s’ = t-s} \
\int_{I’} R_Z(s’) exp(-j\omega_ks’)ds’ exp(j\omega_kt)

$$

  但是这样积分区间会变动，我们现在增加一个均方周期性的条件，让相关函数变成周期性的

$$E|Z(t+T)-Z(t){|}^2=0\Rightarrow R_Z(t+T)=R_Z(t)$$

  我们再来做上面的展开,在一个周期中展开
$${\int }_{-\frac{T}{2}}^{+\frac{T}{2}}{R}_Z(t-s)exp(j{\omega }_{k}s)ds$$

  换元,由于有周期性，就可以把积分区间中的值给消掉了

$$\begin{gathered} \text{Let s’ = t-s} \\ {\int }_{-\frac{T}{2}}^{+\frac{T}{2}}{R}_Z(s^{\prime })exp(-j{\omega }_k{s}^{\prime })d{s}^{\prime }exp(j{\omega }_{k}t)={\lambda }_{k}exp(j{\omega }_{k}t) \end{gathered}$$

  确实能够得到一个常数乘以特征函数的形式。因此，复指函数就是这个方程的特征函数。

  因此，我们可以得到周期性随机过程的KL展开

$$\begin{gathered} \text{Fourier}\iff \text{Karhunan-Loeve} \\ Z(t)=\sum _k{\alpha }_{k}exp(j\frac{2k\pi }{T}t) \\ {\alpha }_k=\frac{1}{T}{\int }_{-\frac{T}{2}}^{+\frac{T}{2}}Z(t)exp(-j\frac{2k\pi }{T}t)dt \end{gathered}$$

  我们发现，当随机过程具有宽平稳性质和周期性质之后，KL展开和傅里叶展开就是一回事

2.3.4 非周期性宽平稳随机过程的KL展开–谱表示

$${\alpha }_k=\frac{1}{T}{\int }_{-\frac{T}{2}}^{+\frac{T}{2}}Z(t)exp(-j\frac{2k\pi }{T}t)dt$$

  下面我们想令T趋于无穷大。因为本来α是展开的系数，一旦令T趋于无穷大，因为Z是不满足绝对可积的，所以得到的积分是发散的，也就没有办法得到连续的式子。

  如果我们能够得到连续的积分

$$Z(t)={\int }_{-\infty }^{+\infty }\hat{Z}(\omega )exp(j\omega t)d\omega$$

  这个积分会有奇点，因此，我们才会使用了二阶量的功率谱，来描述频域和时域的关系。

  我们可以换一种方法来对付奇点，就是用stieltjes积分表示，奇点就不微分了，保留着即可。这样逻辑就是完全正确的了

$$\begin{gathered} \text{Stieltjes Integration} \\ \int f(x)dg(x) \end{gathered}$$

$$Z(t)={\int }_{-\infty }^{+\infty }exp(j\omega t)d{F}_Z(\omega )$$

  我们就得到了KL展开在连续时间上的具体形式

  因为KL展开是双正交的，所以谱表示是正交的。因此谱过程是个正交增量过程

$$E((d{F}_Z({\omega }_1))(\overline{d{F}_Z({\omega }_2)}))=0$$