【1.独立】
- 独立描述的是两个变量之间是否存在联系。独立则表明两变量之间不存在联系,不独立则表明两变量之间存在联系(有可能是线性、正交等关系)。
- 独立:对于两个随机变量 X X X 和 Y Y Y,若 X X X 的有关信息不给出 Y Y Y 的任何信息,并且 Y Y Y 的有关信息也不包含有 X X X 的任何信息,则称这两个随机变量独立,并有 P ( X , Y ) = P ( X ) P ( Y ) P(X,Y)=P(X)P(Y) P(X,Y)=P(X)P(Y)其中 P ( X , Y ) P(X,Y) P(X,Y) 是 X X X 和 Y Y Y 联合概率密度函数, P ( X ) P(X) P(X), P ( Y ) P(Y) P(Y) 分别是 X X X 和 Y Y Y 的边缘概率密度函数。
- 若
X
X
X 和
Y
Y
Y 是两个独立的随机变量,且
h
1
(
X
)
h_1(X)
h1(X) 和
h
2
(
Y
)
h_2(Y)
h2(Y) 分别是
X
X
X 和
Y
Y
Y 的函数,则:
E [ h 1 ( X ) h 2 ( Y ) ] = E [ h 1 ( X ) ] E [ h 2 ( Y ) ] E[h_1(X)h_2(Y)]=E[h_1(X)]E[h_2(Y)] E[h1(X)h2(Y)]=E[h1(X)]E[h2(Y)] - 当
X
X
X 和
Y
Y
Y 相互独立时,协方差为 0。
c o v ( X , Y ) = E ( [ X − E ( X ) ] [ Y − E ( Y ) ] ) = 0 cov(X,Y)=E([X-E(X)][Y-E(Y)])=0 cov(X,Y)=E([X−E(X)][Y−E(Y)])=0
【2.相关】
- 相关性描述的是两个变量之间是否存在线性关系。相关则表明两变量之间存在线性关系,不相关则表明两变量之间不存在线性关系(也有可能存在正交或其他关系)。
- 相关:如果存在一组不全为零的数 c 1 , c 2 . . . , c m ∈ K c_1,c_2...,c_m∈K c1,c2...,cm∈K,使得对于元素 x 1 , x 2 . . . , x m ∈ V x_1,x_2...,x_m∈V x1,x2...,xm∈V 有 ∑ i = 1 m c i x i = 0 \sum_{i=1}^{m}c_ix_i=0 ∑i=1mcixi=0 ,则称元素组 x 1 , x 2 . . . , x m x_1,x_2...,x_m x1,x2...,xm 线性相关,否则称其线性无关(即:系数不全为0的线性组合为0,则元素组线性相关)。
- 不相关:当
X
X
X 和
Y
Y
Y 不相关时,协方差为 0。
c o v ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } = 0 cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}=0 cov(X,Y)=E{[X−E(X)][Y−E(Y)]}=0
E ( X Y ) = E ( X ) E ( Y ) E(XY)=E(X)E(Y) E(XY)=E(X)E(Y)
【3.正交】
- 正交:若
X
X
X 不含有
Y
Y
Y 的任何成分,
Y
Y
Y 也不含有
X
X
X 的任意成分,则称两个随机变量
X
X
X 与
Y
Y
Y 正交,数学上定义为:
E ( X Y ) = 0 E(XY)=0 E(XY)=0 - 正交信号的性质:互相关函数恒等于0,内积为0。
正交信号的互相关函数恒等于 0 : R x y ( τ ) = ∫ − ∞ + ∞ x ( t ) y ∗ ( t − τ ) d t = 0 , ∀ τ 正交信号的互相关函数恒等于0:\\R_{xy}(\tau)=\int^{+\infty}_{-\infty}x(t)y^*(t-\tau)dt=0,∀\tau 正交信号的互相关函数恒等于0:Rxy(τ)=∫−∞+∞x(t)y∗(t−τ)dt=0,∀τ
【4.相互关系】
相关和独立
- 独立一定不相关,不相关不一定独立。
举例不相关不一定独立:令 Y = X 2 , X ∈ [ − 1 , 0 , 1 ] , Y ∈ [ 1 , 0 , 1 ] Y=X^2,\quad X\in[-1,0,1],\quad Y\in[1,0,1] Y=X2,X∈[−1,0,1],Y∈[1,0,1],其中,X的三种取值等概率。
- X,Y 不相关:
E ( X Y ) − E ( X ) E ( Y ) = 0 − 0 × 2 3 = 0 E(X Y)-E(X)E(Y)=0-0\times{\frac{2}{3}}=0 E(XY)−E(X)E(Y)=0−0×32=0- X,Y不独立:
P ( X ≤ 0 , Y ≤ 0 ) = 1 3 P ( X ≤ 0 ) P ( Y ≤ 0 ) = 2 3 × 1 3 = 2 9 ≠ 1 3 \begin{aligned} &P(X\leq0,Y\leq0)={\frac{1}{3}} \\ &P(X\leq0)P(Y\leq0)={\frac{2}{3}}\times{\frac{1}{3}}={\frac{2}{9}}\neq{\frac{1}{3}} \end{aligned} P(X≤0,Y≤0)=31P(X≤0)P(Y≤0)=32×31=92=31
- 不相关→独立的条件: X,Y都服从标准正态分布。
相关和正交
- 正交一定不相关,不相关不一定正交。
举例不相关不一定正交: X = [ 0 , 1 , 1 ] , Y = [ 1 , 0 , 1 ] X=[0,1,1],Y=[1,0,1] X=[0,1,1],Y=[1,0,1]
- X,Y 不相关:
显然。- X,Y不正交:
X ⋅ Y = 0 × 1 + 1 × 0 + 1 × 1 = 1 ≠ 0 X·Y=0\times1+1\times 0+1\times 1=1\neq0 X⋅Y=0×1+1×0+1×1=1=0
- 不相关→正交的条件:不相关需要满足 E ( X Y ) = E ( X ) E ( Y ) E(XY)=E(X)E(Y) E(XY)=E(X)E(Y),而正交需要满足 E ( X Y ) = 0 E(XY)=0 E(XY)=0,当且仅当 E ( X ) E(X) E(X) 或者 E ( Y ) E(Y) E(Y) 两者中有一个为 0 时,不相关一定正交。
- 若x(t)和y(t)的均值均等于零,则不相关与正交彼此等价。
独立和正交
- 独立→正交的条件:独立一定不相关,则 E ( X Y ) = E ( X ) E ( Y ) E(XY)=E(X)E(Y) E(XY)=E(X)E(Y),而正交需要满足 E ( X Y ) = 0 E(XY)=0 E(XY)=0,当且仅当 E ( X ) E(X) E(X) 或者 E ( Y ) E(Y) E(Y) 两者中有一个为 0 时,独立一定正交。
- 正交→独立的条件:X,Y都服从标准正态分布。
独立、不相关和正交
- 标准正态分布信号的独立、不相关和正交三者等价。
【5. 参考文献】
[1] 张贤达. 现代信号处理[M]. 清华大学出版社, 2002.
[2] 独立正交不相关定义关系
[3] 如何证明「X,Y 不相关,则 X,Y 不一定独立」