一、协方差
协方差用于衡量两个随机变量的联合变化程度。
方差为协方差的一种特殊情况，即该变量与其自身之协方差。
若变量X的较大值主要与另一个变量Y的较大值相对应，而两者的较小值也相对应，则可称两变量倾向于表现出相似的行为，协方差为正。在相反的情况下，当一个变量的较大值主要对应于另一个变量的较小值时，则两变量倾向于表现出相反的行为，协方差为负。即协方差之正负号显示著变量的相关性。
协方差的定义
期望值分别为 E ( X ) = μ \displaystyle E(X)=\mu E(X)=μ 与 E ( Y ) = ν E(Y)=\nu E(Y)=ν 的两个具有有限二阶矩的实数随机变量X 与Y 之间的协方差定义为： C o v ( X , Y ) = E ( ( X − μ ) ( Y − ν ) ) = E ( X Y ) − μ ν Cov(X,Y)=E((X-\mu)(Y-\nu))=E(XY)-\mu\nu Cov(X,Y)=E((X−μ)(Y−ν))=E(XY)−μν
- 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。
- 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。
如果X 与Y 是统计独立的，那么二者之间的协方差是0，这是因为
E
(
X
Y
)
=
E
(
X
)
E
(
Y
)
=
μ
ν
E(XY)=E(X)E(Y)=\mu\nu
E(XY)=E(X)E(Y)=μν
但是反过来并不成立，即如果
C
o
v
(
X
,
Y
)
Cov(X,Y)
Cov(X,Y)为0，二者并不一定是统计独立的。
协方差的相关性η
η
=
cov
(
X
,
Y
)
var
(
X
)
⋅
var
(
Y
)
,
{\displaystyle \eta ={\dfrac {\operatorname {cov} (X,Y)}{\sqrt {\operatorname {var} (X)\cdot \operatorname {var} (Y)}}}\ ,}
η=var(X)⋅var(Y)cov(X,Y) ,
更准确地说是线性相关性，其取值在[－1, 1]之间。
- η = 1时称为“完全线性相关”（相关性η = －1时称为“完全线性负相关”），此时将Yi对Xi作Y-X 散点图，将得到一组精确排列在直线上的点；相关性数值介于－1到1之间时，其绝对值越接近1表明线性相关性越好，作散点图得到的点的排布越接近一条直线。
- η = 0（因而协方差也为0）的两个随机变量又被称为是不相关的，或者更准确地说叫作**“线性无关”、“线性不相关”，这仅仅表明X 与Y 两随机变量之间没有线性相关性，并非表示它们之间一定没有任何内在的（非线性）函数关系**。
二、协方差矩阵
假设
X
{\displaystyle X}
X是以
n
{\displaystyle n}
n个随机变量组成的列向量，
X
=
[
X
1
X
2
⋮
X
n
]
{\displaystyle \mathbf {X} ={\begin{bmatrix}X_{1}\\X_{2}\\\vdots \\X_{n}\end{bmatrix}}}
X=⎣⎢⎢⎢⎡X1X2⋮Xn⎦⎥⎥⎥⎤
并且 μ i {\displaystyle \mu _{i}} μi是 X i {\displaystyle X_{i}} Xi的期望值，即, μ i = E ( X i ) {\displaystyle \mu _{i}=\mathrm {E} (X_{i})} μi=E(Xi)。协方差矩阵的第 ( i , j ) {\displaystyle (i,j)} (i,j)项（第 ( i , j ) {\displaystyle (i,j)} (i,j)项是一个协方差）被定义为如下形式：
Σ i j = c o v ( X i , X j ) = E [ ( X i − μ i ) ( X j − μ j ) ] {\displaystyle \Sigma _{ij}=\mathrm {cov} (X_{i},X_{j})=\mathrm {E} {\begin{bmatrix}(X_{i}-\mu _{i})(X_{j}-\mu _{j})\end{bmatrix}}} Σij=cov(Xi,Xj)=E[(Xi−μi)(Xj−μj)]
而协方差矩阵为：
Σ
=
E
[
(
X
−
E
[
X
]
)
(
X
−
E
[
X
]
)
T
]
{\displaystyle \Sigma =\mathrm {E} \left[\left(\mathbf {X} -\mathrm {E} [\mathbf {X} ]\right)\left(\mathbf {X} -\mathrm {E} [\mathbf {X} ]\right)^{\rm {T}}\right]}
Σ=E[(X−E[X])(X−E[X])T]
=
[
E
[
(
X
1
−
μ
1
)
(
X
1
−
μ
1
)
]
E
[
(
X
1
−
μ
1
)
(
X
2
−
μ
2
)
]
⋯
E
[
(
X
1
−
μ
1
)
(
X
n
−
μ
n
)
]
E
[
(
X
2
−
μ
2
)
(
X
1
−
μ
1
)
]
E
[
(
X
2
−
μ
2
)
(
X
2
−
μ
2
)
]
⋯
E
[
(
X
2
−
μ
2
)
(
X
n
−
μ
n
)
]
⋮
⋮
⋱
⋮
E
[
(
X
n
−
μ
n
)
(
X
1
−
μ
1
)
]
E
[
(
X
n
−
μ
n
)
(
X
2
−
μ
2
)
]
⋯
E
[
(
X
n
−
μ
n
)
(
X
n
−
μ
n
)
]
]
{\displaystyle = {\begin{bmatrix} \mathrm {E} [(X_{1}-\mu _{1})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{1}-\mu _{1})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{1}-\mu _{1})(X_{n}-\mu _{n})] \\\\\mathrm {E} [(X_{2}-\mu _{2})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{2}-\mu _{2})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{2}-\mu _{2})(X_{n}-\mu _{n})] \\\\\vdots &\vdots &\ddots &\vdots \\\\\mathrm {E} [(X_{n}-\mu _{n})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{n}-\mu _{n})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{n}-\mu _{n})(X_{n}-\mu _{n})] \end{bmatrix}}}
=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡E[(X1−μ1)(X1−μ1)]E[(X2−μ2)(X1−μ1)]⋮E[(Xn−μn)(X1−μ1)]E[(X1−μ1)(X2−μ2)]E[(X2−μ2)(X2−μ2)]⋮E[(Xn−μn)(X2−μ2)]⋯⋯⋱⋯E[(X1−μ1)(Xn−μn)]E[(X2−μ2)(Xn−μn)]⋮E[(Xn−μn)(Xn−μn)]⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤
矩阵中的第
(
i
,
j
)
{\displaystyle (i,j)}
(i,j)个元素是
X
i
{\displaystyle X_{i}}
Xi与
X
j
{\displaystyle X_{j}}
Xj的协方差。这个概念是对于标量随机变量方差的一般化推广。
943
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
