弱水三千 之 统计独立性、统计相关性辨析

序

在随机信号分析中，存在这样一个概念群：不相关、正交、统计独立。

当两个随机过程保持统计独立时，它们必然不相关；但反过来则不一定成立，即不相关的两个随机过程不一定能保持统计独立，唯有高斯过程才是个例外。从统计的角度看，保持统计独立要比不相关还要严格。

• 在信号分析中，内积为零则可作为两个信号之间正交的定义。
• 在随机过程中，除了协方差函数外，还要求至少其中有一个随机过程的均值为零，这时两个随机过程才相互正交。正交的条件满足了，不相关的条件就自然满足，但是反过来则不一定。因此，正交条件要比不相关条件严格些。

如果统计独立的条件满足，则正交条件也自然满足，但反过来，则不一定成立。

因此统计独立性的条件最为严格，其次为正交性，最弱为相关性。

---

统计独立性

一些随机现象经过大量观察，在它们出现的结果之间不呈现显著联系，因此认为这些随机现象的规律性相互独立，称为统计独立性。
统计独立的充要条件是两个随机变量的联合概率密度分布函数等于它们各自概率密度分布函数的乘积。
即p(f1,f2)=p(f1)p(f2), 很容易证明，统计独立必然导致不相关。

在概率论里，说两个事件是独立的，直觉上是指一事件的发生不会影响到另一事件发生的机率。例如，骰子掷出“6”的事件和其在下一次也掷出“6”的事件是相互独立的。
类似地，两个随机变量是独立的，若其在一事件给定观测量的条件机率分布和另一事件没有被观测的机率分布是一样的。
例如，第一次掷骰子掷出的数目和第二次会出现的数字是相互独立的。

---

统计相关性

相关性是指当两个因素之间存在联系的时候，一个典型的表现是：一个变量会随着另一个变量变化。
相关又会分成正相关和负相关两种情况。举例说明，下雪外面就会变冷，这是正相关。出太阳就不会下雨，这是负相关。
一般利用相关系数来表征随机变量之间的相关程度。

---

统计独立必不相关

两随机变量或者两个随机过程，若它们的互相关或互相关函数等于两者均值之积；或者协方差和相关系数都等于0，则它们之间不相关。
统计独立比不相关含义更严格，前者表明一个随机变量的任一取值的变化都不会引起另一个变量的任何取值的变化；而不相关则是统计平均意义下相互无影响，即间或存在的相互影响，经集合平均后显示不出来，宏观影响为0。

---

不相关性与正交性

在通信系统中，总是力图按不相关或正交关系来设计在同一信道随机发送的二元或多元信号。对于多数通信信号以及噪声来说，基本上均值都为0，于是在实际应用中，不相关与正交没有本质区别。

---

参考文献

1. http://en.wikipedia.org/wiki/Independence_(probability_theory)
2. http://zh.wikipedia.org/zh-cn/%E7%9B%B8%E5%85%B3
3. http://www.cnblogs.com/emanlee/archive/2012/01/31/2333961.html

转载于:https://www.cnblogs.com/TianYIS/p/4488062.html