对数学期望、方差、协方差、协方差矩阵的理解

参考《概率论与数理统计》（浙大）

关键词：
数学期望，数学期望的性质，方差，标准差，方差的性质，协方差，相关系数，协方差矩阵

数学期望

变量分布的中心

数学期望也叫期望，或者均值，E(X)完全由X的概率分布决定，若X服从某一分布，也成E(X)是该分布的数学期望。

理解：X的数学期望是E(X)>>指的是多次采样，指标X的平均值是E(X)。

例如：
新生儿健康得分X的数学期望E(X)是7.15——每一次观察新生儿，平均的健康分数是7.15
电子产品的寿命N的数学期望是θ/2——取电子产品观察多次，平均的寿命是θ/2
候车时间的数学期望是27.22min——平均的候车时间是27.22min
家电收费Y的数学期望是2732.15——平均一台家电收费2732.15
…

数学期望的几个重要性质（设以下随机变量的数学期望存在）：

1. 设C是常数，则有

$$E(C)=C$$

2. 设X是一个随机变量，C是常数，则有$$E(CX)=CE(X)$$
3. 设X,Y是两个随机变量，则有$$E(X+Y)=E(X)+E(Y)$$可推广到任意有限个变量之和
4. 设X,Y是两个独立的随机变量，则有$$E(XY)=E(X)E(Y)$$可推广到任意有限个独立变量之积

方差

变量分布的离散程度

知道了数学期望，也就知道了一批样本中某一指标的均值，方差在此基础上反映的是真实的样本据此均值的偏离程度，方差小，偏离程度就小，这一指标的出现的值就越稳定。

偏离程度的表示没有正负之分，所以用绝对值表示，为了方便起见，通常用平方来代替绝对值，用$$E[X-E(X)]²$$表示偏离程度，记作D(X)或Var(X)

在应用上取其根号
$$\sqrt{D(X)}$$
记作
$$\sigma (X)$$
称为标准差或者方差

方差的几个重要性质（设以下随机变量的数学期望存在）：

1. 设C是常数，则$$D(C)=0$$
2. 设X是随机变量，C是常数，则有$$D(CX)=C²(X)$$
3. 设X,Y是两个随机变量，则有：
   $$D(X+Y)=D(X)+D(Y)+2E[X-E(X)][Y-E(Y)]$$
   特别地，当X和Y相互独立，则有$$D(X+Y)=D(X)+D(Y)$$
   这一性质可以推广到任意有限个相互独立的随机变量之和
4. D(X)=0的充要条件是X以概率1取常数E(X)，即$$PX=E(X)=1$$

协方差

变量之间的相关程度

数学期望和方差都是针对样本中的某一个指标而言的，而对于二维随机变量(X,Y),协方差描述了随机变量X和Y的相互关系。
量: $$E[X-E(X)]²[Y-E(Y)]²$$ 称为样本X和Y的协方差，记作$$Cov(X,Y)$$

$${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$
称为随机变量X和Y的相关系数

相关系数也称作线性相关系数，描述随机变量(X,Y)两个分量X,Y之间线性关系之间的紧密程度，相关系数小，线性相关程度差，ρXY=0，说明不相关或存在线性相关之外的关系。X,Y相互独立则X,Y一定不相关，若X,Y不相关则X,Y不一定相互独立。

$$Cov(X,Y)=Cov(Y,X)$$ $$Cov(X,X)=D(X)$$

协方差矩阵

包含了方差和协方差的信息

协方差矩阵是一个对称矩阵。
有n维随机变量$$(X1,X2,...,Xm)$$其协方差矩阵的主对角线元素为各个元素的方差
其余的第i行第j列元素对应第i个元素和第j个元素的协方差。