方差 (variance)：单个向量
方差用来描述数值的分散(离散)程度，某个变量(向量)的方差可以用该变量的每个元素减去均值的完全平方再求平均来求得。
V
a
r
(
a
)
=
1
m
.
∑
i
=
1
m
(
a
i
−
μ
)
2
Var(a) = \frac 1m.\sum_{i=1}^{m} {(a_i-\mu)^2}
Var(a)=m1.i=1∑m(ai−μ)2
若将变量的均值化为零，则可以有
V
a
r
(
a
)
=
1
m
.
∑
i
=
1
m
a
i
2
Var(a) = \frac 1m.\sum_{i=1}^{m} {a_i^2}
Var(a)=m1.i=1∑mai2
协方差(covariance)：两个向量
协方差可以用来表示两个变量之间的相关性，如在PCA降维中，我们希望降维后的变量可以保存更多的原始信息，所以尽可能的减少变量之间的相关性，因为相关性越大，则就代表着两个变量不是完全独立的，也即必然有重复的信息。
C
o
v
(
a
,
b
)
=
1
m
−
1
.
∑
i
=
1
m
(
a
i
−
μ
a
)
(
b
i
−
μ
b
)
Cov(a,b) = \frac 1{m-1}.\sum_{i=1}^{m} {(a_i-\mu_a)(b_i-\mu_b)}
Cov(a,b)=m−11.i=1∑m(ai−μa)(bi−μb)
同样，若使均值为零，再者，当样本较大时，求均值除以m和m-1并没有很大的区别，则有
C
o
v
(
a
,
b
)
=
1
m
.
∑
i
=
1
m
a
i
b
i
Cov(a,b) = \frac 1{m}.\sum_{i=1}^{m} {a_ib_i}
Cov(a,b)=m1.i=1∑maibi
协方差可以衡量两个向量(变量)同时变化的程度，若协方差cov(a,b)>0，则表示a若增大，b也增大；小于0时，a增大，b减小。
后话：当协方差为0的时候，也即表示两个变量之间不相关。在PCA降维时，就是选择几个基，使得原始数据变换到该组基上时，各变量之间的协方差为零，而变量的方差却很大。
而为了让协方差为0，选择第二个基的时候，与第一个基正交，第三个与第二个正交，这样两两正交的基，最后的相关性就是0。
协方差矩阵(covariance matrix):多个向量之间
上述只是单个向量的方差和两个向量之间的协方差，若有多个向量，则可以用矩阵来表示两两的相关性。如有向量a,b,c，用矩阵X表示这三个向量，则其两两之间的协方差可以用矩阵来表示。
X
=
(
a
b
c
)
=
(
a
1
a
2
a
3
.
.
.
b
1
b
2
b
3
.
.
.
c
1
c
2
c
3
.
.
.
)
X=\begin{pmatrix} a\\b\\c\end{pmatrix}=\begin{pmatrix} a_1 & a_2 &a_3&... \\ b_1& b_2 &b_3&... \\c_1&c_2&c_3&... \end{pmatrix}
X=⎝⎛abc⎠⎞=⎝⎛a1b1c1a2b2c2a3b3c3.........⎠⎞
c
o
v
(
X
)
=
(
c
o
v
(
a
,
a
)
c
o
v
(
a
,
b
)
c
o
v
(
a
,
c
)
c
o
v
(
b
,
a
)
c
o
v
(
b
,
b
)
c
o
v
(
b
,
c
)
c
o
v
(
c
,
a
)
c
o
v
(
c
,
b
)
c
o
v
(
c
,
c
)
)
cov(X)=\begin{pmatrix} cov(a,a)&cov(a,b)&cov(a,c)\\ cov(b,a)&cov(b,b)&cov(b,c) \\cov(c,a)&cov(c,b)&cov(c,c)\end{pmatrix}
cov(X)=⎝⎛cov(a,a)cov(b,a)cov(c,a)cov(a,b)cov(b,b)cov(c,b)cov(a,c)cov(b,c)cov(c,c)⎠⎞
同时从上文协方差处可以看出，当去了均值后的协方差就是向量的内积求平均，所以对于上述协方差矩阵可以写为
c
o
v
(
X
)
=
(
c
o
v
(
a
,
a
)
c
o
v
(
a
,
b
)
c
o
v
(
a
,
c
)
c
o
v
(
b
,
a
)
c
o
v
(
b
,
b
)
c
o
v
(
b
,
c
)
c
o
v
(
c
,
a
)
c
o
v
(
c
,
b
)
c
o
v
(
c
,
c
)
)
=
(
1
m
.
∑
i
=
1
m
a
i
a
i
1
m
.
∑
i
=
1
m
a
i
b
i
1
m
.
∑
i
=
1
m
a
i
c
i
1
m
.
∑
i
=
1
m
b
i
a
i
1
m
.
∑
i
=
1
m
b
i
b
i
1
m
.
∑
i
=
1
m
b
i
c
i
1
m
.
∑
i
=
1
m
c
i
a
i
1
m
.
∑
i
=
1
m
c
i
b
i
1
m
.
∑
i
=
1
m
c
i
c
i
)
=
1
m
X
X
T
cov(X)=\begin{pmatrix} cov(a,a)&cov(a,b)&cov(a,c)\\ cov(b,a)&cov(b,b)&cov(b,c) \\cov(c,a)&cov(c,b)&cov(c,c)\end{pmatrix}=\begin{pmatrix} \frac 1{m}.\sum_{i=1}^{m} {a_ia_i}&\frac 1{m}.\sum_{i=1}^{m} {a_ib_i}&\frac 1{m}.\sum_{i=1}^{m} {a_ic_i}\\ \frac 1{m}.\sum_{i=1}^{m} {b_ia_i}&\frac 1{m}.\sum_{i=1}^{m} {b_ib_i}&\frac 1{m}.\sum_{i=1}^{m} {b_ic_i}\\\frac 1{m}.\sum_{i=1}^{m} {c_ia_i}&\frac 1{m}.\sum_{i=1}^{m} {c_ib_i}&\frac 1{m}.\sum_{i=1}^{m} {c_ic_i}\end{pmatrix}=\frac 1{m}XX^T
cov(X)=⎝⎛cov(a,a)cov(b,a)cov(c,a)cov(a,b)cov(b,b)cov(c,b)cov(a,c)cov(b,c)cov(c,c)⎠⎞=⎝⎛m1.∑i=1maiaim1.∑i=1mbiaim1.∑i=1mciaim1.∑i=1maibim1.∑i=1mbibim1.∑i=1mcibim1.∑i=1maicim1.∑i=1mbicim1.∑i=1mcici⎠⎞=m1XXT
扫一扫
4404
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
