正交、独立、不相关区别

一、三者的定义

假设X为一个随机过程，则在t1和t2时刻的随机变量的相关定义如下（两个随机过程一样）：

（1）定义Rx（t1，t2）=E{X（t1）X（t2）}为相关函数，若R=0，称正交（注意，相关函数为0，不是不相关，而是正交）。正交不仅仅描述确定函数之间的关系，也用以描述随机过程。两个随机过程X(t) Y(t)正交，即E[X(t)Y(t)]=0, 若E[X(t)Y(t)]=E[X(t)]E(Y(t)]说明两者不相关。不相关和相互独立一般不等价，只有当过程为高斯过程时才成立。

（2）定义Kx（t1，t2）=E{[X（t1）-Mx(t1)][X(t2)-Mx(t2)]}为协方差函数，若K=0，即相关系数为0，则称之为不相关；不相关只是说二者没有线形关系，但并不代表没有任何关系。

（3）独立性。就用他们的概率分布函数或密度来表达。联合分布等于他们各自分布的乘积，独立的定义是 F(x,Y)=F(x)F(Y)，就称独立。

二、三者之间的关系

独立 －－－－－－－－－－－－－> 不相关
      <－－－－－－－－－－－－－
         均值为零的高斯随机过程

 

独立一定不相关
不相关不一定独立（高斯过程里二者等价） 
对于均值为零的高斯随机变量，“独立”和“不相关”等价的。

     当有一个随机过程的期望为零
不相关 <－－－－－－－－> 正交

 

当其中一个期望为零时，“不相关”和“正交”等价，否则没关系。

在通信系统中，总是力图按不相关或正交关系来设计在同一信道随机发送的二元或多元信号。对于多数通信信号以及噪声来说，基本上均值都为0，于是在实际应用中，不相关与正交没有本质区别。

转自：http://blog.sina.com.cn/s/blog_4a018d080100juaw.html