参考:
[1] 孔告化,何铭,胡国雷. 概率统计与随机过程. 第2版. 北京: 人民邮电出版社, 2012 (2021重印)
随机变量对(X,Y)
用基于协方差的相关系数定义相关性
协方差:
C o v ( X , Y ) = E ( [ X − E ( X ) ] [ Y − E ( Y ) ] ) Cov(X,Y) = E([X-E(X)][Y-E(Y)]) Cov(X,Y)=E([X−E(X)][Y−E(Y)])
二阶混合中心矩(mixed central moment)
计算协方差的常用公式(有定义直接推导出):
C
o
v
(
X
,
Y
)
=
E
(
X
Y
)
−
E
(
X
)
E
(
Y
)
Cov(X,Y) = E(XY) - E(X)E(Y)
Cov(X,Y)=E(XY)−E(X)E(Y)
相关系数:
ρ
X
Y
=
C
o
v
(
X
,
Y
)
D
(
X
)
D
(
Y
)
\rho_{XY} = \frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}
ρXY=D(X)D(Y)Cov(X,Y)
其中
D
(
⋅
)
D(·)
D(⋅)表示随机变量的方差,此处要求方差不能不为0。
由定义看出,两个随机变量的相关系数为用其标准差对其协方差归一化后的值。
相关性:
-
∣
ρ
X
Y
∣
=
1
\left|{\rho_{XY}}\right|=1
∣ρXY∣=1:X与Y依概率1线性相关;
即存在常数 a ( a ≠ 0 ) , b a(a\ne0),b a(a=0),b使得 P ( Y = a X + b ) = 1 P(Y=aX+b)=1 P(Y=aX+b)=1
- 相关性随 ∣ ρ X Y ∣ |\rho_{XY}| ∣ρXY∣减小而减弱,当 ∣ ρ X Y ∣ = 0 |{\rho_{XY}}|=0 ∣ρXY∣=0时,二者之间没有相关关系(即不相关)。
用分布函数定义独立性
独立性:
若联合分布与边缘分布之间具有如下关系:
F
(
x
,
y
)
=
F
X
(
x
)
F
Y
(
y
)
F(x,y) = F_X(x)F_Y(y)
F(x,y)=FX(x)FY(y)
则称随机变量X与Y相互独立。
用相关函数定义正交性
此处正交概念仅考虑随机变量或随机过程领域;此外:
- 欧氏几何中直线、平面间的垂直关系也常被称为正交;
- 同一定义区间上的两个函数间也有所谓正交关系;
- 线性代数中涉及N维向量之间的正交性。
相关函数:
通常用来描述随机过程,此处忽略过程的参数t,当作随机变量来理解。
R X Y = E ( X Y ) R_{XY} = E(XY) RXY=E(XY)
二阶混合原点矩(mixed moment)
正交性:
若相关函数 R X Y = 0 R_{XY}=0 RXY=0,则称X与Y相互正交。
总结
- 独立性用概率分布来定义;
- 相关性用协方差(所谓相关系数只是增加了归一化处理)来定义;正交性用相关函数来定义;
- 相关函数为零不能称其为不相关,是因为数学史上概念命名先后造成的语言障碍,从而让不相关和正交易产生混淆;
- 独立可以推出不相关;(用概率分布定义的概念,显然强于用数字特征定义的概念)
- 高斯分布的概率函数完全由二阶矩数字特征确定,不相关等价于独立;
- 对零均值变量而言,协方差等于相关函数,因而不相关等价于正交。(将中心矩理解为变量去均值后的原点矩,则协方差即为变量去均值后的相关函数)