期望
随机变量
ξ
\xi
ξ的一切可能值与对应概率的乘积的和叫做随机变量
ξ
\xi
ξ的期望,记作
E
(
ξ
)
E(\xi)
E(ξ)
E
(
ξ
)
=
∑
i
x
i
P
(
ξ
=
x
i
)
E(\xi)=\sum_{i}x_iP(\xi=x_i)
E(ξ)=i∑xiP(ξ=xi)
离差
ξ − E ( ξ ) \xi-E(\xi) ξ−E(ξ)叫做随机变量 ξ \xi ξ的离差
方差
随机变量
ξ
\xi
ξ的离差的平方的数学期望叫做随机变量
ξ
\xi
ξ的方差,记作
D
(
ξ
)
D(\xi)
D(ξ)或
v
a
r
(
ξ
)
var(\xi)
var(ξ)即:
v
a
r
(
ξ
)
=
E
(
(
ξ
−
E
(
ξ
)
)
2
)
var(\xi)=E((\xi-E(\xi))^2)
var(ξ)=E((ξ−E(ξ))2)
方差总是一个非负数,当随机变量的可能值集中在期望附近时,方差较小。所以,由方差的大小可以推断随机变量分布的分散程度,方差能反映随机变量的一切可能值在数学期望周围的分散程度。
协方差
协方差用来刻画两个随机变量之间的相关性, 反应变量之间的二阶统计特性。
n维随机变量的协方差矩阵
显然,协方差矩阵是对称矩阵。
协方差矩阵对角线元素表示方差,非对角线元素表示n维随机变量不同分量之间的协方差,协方差在一定程度上体现了线性相关性,因此协方差矩阵可以作为不同分量之间线性相关性的度量;
若不同分量之间的线性相关性越小,则协方差矩阵的非对角线元素越小;
若不同分量彼此不相关,则协方差矩阵为对角阵;
注意,我们并不能得到协方差矩阵的真实值,只能根据所提供的X的样本数据对其进行估计;
因此,这样算出来的协方差矩阵是依赖样本数据的,通常提供的样本数越多,协方差矩阵越可靠。
协方差矩阵的计算
n个随机变量,m个样本
独立→不相关=协方差为零
象,核,秩零定理
linear_map
codomain
if
L
:
V
→
W
L:V→W
L:V→W is linear
k
e
r
(
L
)
=
{
x
∈
V
:
L
(
x
)
=
0
}
ker(L)=\{x\in V:L(x)=0\}
ker(L)={x∈V:L(x)=0}
i
m
g
(
L
)
=
{
w
∈
W
:
w
=
L
(
x
)
,
x
∈
V
}
img(L)=\{w\in W:w=L(x),x\in V\}
img(L)={w∈W:w=L(x),x∈V}
秩零定理:
d
i
m
(
V
)
=
d
i
m
(
i
m
g
(
L
)
)
+
d
i
m
(
k
e
r
(
L
)
)
dim(V)=dim(img(L))+dim(ker(L))
dim(V)=dim(img(L))+dim(ker(L))
the dimension of the domain of a linear map is the sum of its rank (the dimension of its image) and its nullity (the dimension of its kernel
image:
红色是domain,黄色是image,蓝色是codomain(共域)
The codomain affects whether a function is a surjection, in that the function is surjective if and only if its codomain equals its image.
k e r ker ker