更新中…
参考博文:
1,如何理解主元分析(PCA)
2,协方差-正定矩阵
第1篇博文对PCA做了很详细的说明,本文主要是对以上博文做些补充
博文1提到了协方差矩阵,在此补充一下协方差矩阵的特点。
协方差矩阵又称二阶混合中心矩
协方差公式:
C
o
v
(
X
,
Y
)
=
E
(
X
−
E
X
)
(
Y
−
E
Y
)
(
1
)
Cov(X,Y)=E(X-EX)(Y-EY) (1)
Cov(X,Y)=E(X−EX)(Y−EY)(1)
o
r
or
or
C
o
v
(
X
,
Y
)
=
E
(
X
Y
)
−
(
E
X
)
(
E
Y
)
(
2
)
Cov(X,Y)=E(XY)-(EX)(EY)(2)
Cov(X,Y)=E(XY)−(EX)(EY)(2)
上面两式子是等价的。以高斯分布为例,假如X,Y都服从高斯分布,则可以得到协方差矩阵为:
其中
ρ
\rho
ρ表示变量X,Y的相关系数,满足|
ρ
\rho
ρ|
≤
1
\leq1
≤1(可为负数,表示负相关)。如果X,Y独立,则
ρ
=
0
\rho=0
ρ=0.
协方差矩阵对角线表示变量X,Y自身的方差,而非对角线是变量之间的协方差,包含相关系数,从而可以认为是变量之间相关性程度的一种表现形式。
协方差矩阵的意义:1表示随机变量之间的相关性,2,由公式(1)可知,它还与变量关于自身的期望有关,即(X-EX)和(Y-EY)。当两者其中一个为零时,无论X,Y有多么密切的关系,协方差都为零
由于协方差矩阵是对称矩阵(通常不考虑虚数情况,因此也称为实对称矩阵),则一定可以通过特征值分解,分解为:
A
=
U
Λ
U
T
A=U\Lambda U^T
A=UΛUT
其中U是正交矩阵(不同行/列之间点积为零,每行各元素平方和=1),
Λ
\Lambda
Λ是对角矩阵。可以证明协方差矩阵是实对称矩阵,从而也是半正定矩阵,即所有的特征值大于或等于0。
等待更新…