概率论总结（三）：协方差和相关

协方差和相关

本节介绍如何量化两个随机变量之间关系的大小和方向。

协方差

X 和 Y 的协方差记为cov(X,Y) ,其定义如下：
cov(X,Y)=E[(X-E[X])(Y-E[Y])]

当Cov(X,Y)=0 时, 我们说 X 和 Y 是不相关的。一个正或者负的协方差表示在一个试验中的(X-E[X])和(Y-E[Y])的值“趋向”有相同或者相反的符号。因此，协方差的符号提供了 X 和Y 之间关系的重要定量指标。

协方差的另一种表达为： cov(X,Y)=E[XY]-E[X]E[Y]

性质
对任意的随机变量 X、Y、Z, 以及任意实数 a 和 b,
cov(X,X)=var(x)
cov(X,aY+b)=a*cov(X,Y)
cov(X,Y+Z)=cov(X,Y)+cov(X,Z)
注：如果 X 和 Y 是相互独立的, 它们是不相关的。

相关

两个方差非零的随机变量 X 和 Y 的相关系数ρ(X,Y)定义如下:

它可视为协方差cov(X,Y)的标准化.且事实上, 可证明 取值于-1到1之间。(可证明，见例题)
如果ρ>0 (ρ<0 ), 则(X-E[X])和(Y-E[Y])的值趋向同号(反号),且|ρ|的大小反映了趋向程度的标准度量大小。事实上,总可以假定 X 和 Y 有正的方差, 在此种情况下, 可以证明ρ=1 (ρ=-1 )当且仅当存在一个正的(负的)常数 c, 使得:Y-E[Y]=c(X-E[X]).
例：考虑一个硬币的 n 次独立的抛掷, 其中正面朝上的概率是 p.设 X 和 Y 分别是正面朝上和反面朝上的次数, 现在让我们来看一下 X 和 Y 的相关系数.
这里,我们总有X+Y=n且E[X]+E[Y]=n.因此，X-E[X]=-(Y-E[Y])
我们有：



例：证明施瓦兹不等式：


例：考虑随机变量 X 和 Y 的相关系数

并假定它们的方差为正. 证明：
（1）｜ρ(X,Y)<=1｜,提示：用上题的施瓦兹不等式.
（2）如果(Y-E[Y])是(X-E[X])的正(或负)倍数,那么ρ(X,Y)=1（或者ρ(X,Y)=-1）
（3）如果ρ(X,Y)=1（或者ρ(X,Y)=-1），那么(Y-E[Y])概率为1的为(X-E[X])的正(或负)倍数。