概率论：均值、标准差、方差、协方差、矩

一、均值

1.1 离散情况：

$\overline{X}=\frac{{\sum }_{i=1}^n{X}_i}{n}$

二、标准差

$S=\sqrt{\frac{{\sum }_{i=1}^n(x_i-\overline{X}{)}^2}{n-1}}$

三、方差

1.1 样本方差：

$S^2=\frac{{\sum }_{i=1}^n(x_i-\overline{X}{)}^2}{n-1}$

1.2 均值的方差

$D(\overline{x})=D(\frac{1}{n}\sum x_i)=\frac{1}{n^2}\sum D(x_i)=\frac{1}{n^2}\cdot n{\sigma }^2=\frac{{\sigma }^2}{n}$

1.3 方差的性质

1. 设C为常数，$D(C)=0$
2. 设X是随机变量，C是常数，则有：$D(CX)=C^{2}D(X),D(X+C)=D(X)$
3. 设X与Y是两个随机变量，则：$D(X\pm Y)=D(X)+D(Y)\pm 2Cov(X,Y)$

四、协方差

4.1 为什么需要协方差

4.1.1 定义

标准差和方差一般是用来描述一维数据的，但现实生活中我们常常会遇到含有多维数据的数据集。最简单的是上学时我们要统计多个学科的考试成绩，面对这样的数据集，我们当然可以按照每一维独立的计算其方差，但是我们想了解的更多，比如数学成绩和物理成绩是不是有一定的相关关系，协方差就是这样一种用来度量两个随机变量关系的统计量。
我们可以仿照方差的定义：
$var(X)=\frac{{\sum }_{i=1}^n(X_i-\overline{X})(X_i-\overline{X})}{n-1}$
来定义协方差如下（离散）：
$cov(X,Y)=\frac{{\sum }_{i=1}^n(X_i-\overline{X})(Y_i-\overline{Y})}{n-1}=E(xy)-E(x)E(y)$

协方差的结果如果为正值，则说明两者是正相关的（从协方差可以引出“相关系数”的定义）；如果结果为负值，则说明两者是负相关；如果为0，则说明两者之间没有关系，就是统计上的“相互独立”。

从协方差的定义上可以看出一些显而易见的性质，如：

1. $cov(X,X)=var(X)$
2. $cov(X,Y)=cov(Y,X)$

4.1.2 关于协方差的图解：

首先将x，y做去均值处理，此时$\overline{x}=\overline{y}=0$，所以此时x和y之间的协方差：
$cov[x,y]=E[(x-\overline{x})(y-\overline{y})]=E[x\cdot y]$

• 如果x和y的联合分布多位于一三象限，则$x\cdot y$多为正数，此时协方差为正，x和y正相关：
  
• 如果x和y的联合分布多分布在二四象限，此时$x\cdot y$多为负数，则协方差为负，x和y负相关
  
• 如果x和y几乎均匀的分布在所有象限中，则$x\cdot y$有正有负，均值接近于0，说明x和y之间没有相关性（只是说明没有线性相关）：
  

4.1.3 协方差的性质

• $Cov(X,Y)=Cov(Y,X)$
• $Cov(aX,bY)=abCov(X,Y)$
• $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$

4.2 协方差矩阵

前面提到的问题是典型的二维问题，而协方差也只能处理二维问题，维数多了自然就需要计算多个协方差，这时我们会想到利用矩阵来组织这些数据（协方差矩阵就是用来计算各维度之间的相关性）：

4.2.1 定义

将二维随机变量$(X_1,X_2)$的四个二阶中心距
c 11 = E { [ X 1 − E ( X 1 ) ] 2 } c_{11}=E\{[X_1-E(X_1)]^2\} c11​=E{[X1​−E(X1​)]2}
c 12 = E { [ X 1 − E ( X 1 ) ] [ X 2 − E ( X 2 ) ] } c_{12}=E\{[X_1-E(X_1)][X_2-E(X_2)]\} c12​=E{[X1​−E(X1​)][X2​−E(X2​)]}
c 21 = E { [ X 2 − E ( X 2 ) ] [ X 1 − E ( X 1 ) ] } c_{21}=E\{[X_2-E(X_2)][X_1-E(X_1)]\} c21​=E{[X2​−E(X2​)][X1​−E(X1​)]}
c 22 = E { [ X 2 − E ( X 2 ) ] 2 } c_{22}=E\{[X_2-E(X_2)]^2\} c22​=E{[X2​−E(X2​)]2}
排成矩阵的形式：
$\left(\begin{array}{cc}{c}_{11}& c_{12}\\ c_{21}& c_{22}\end{array}\right)$
称此矩阵为$(X_1,X_2)$的协方差矩阵

类似定义n维随机变量$(X_1,X_2,...,X_n)$的协方差矩阵：
若：
c i j = C o v ( X i , X j ) = E { [ X i − E ( X i ) ] [ X j − E ( X j ) ] } i , j = 1 , 2 , . . . , n c_{ij}=Cov(X_i,X_j)=E\{[X_i-E(X_i)][X_j-E(X_j)]\}\quad i,j=1,2,...,n cij​=Cov(Xi​,Xj​)=E{[Xi​−E(Xi​)][Xj​−E(Xj​)]}i,j=1,2,...,n
都存在，称矩阵：
$C=\left(\begin{array}{cccc}{c}_{11}& c_{12}& \dots & c_{1n}\\ c_{21}& c_{22}& \dots & c_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ c_{n1}& c_{n2}& \dots & c_{nn}\end{array}\right)$
为$(X_1,X_2,...,X_n)$的协方差矩阵

4.2.2 性质

协方差矩阵是半正定矩阵
证明：
一组随机变量，共n个：
$X=(X_1,X_2,...,X_n{)}^T$
$设协方差矩阵为\Sigma ,对任意向量y：$
$y^T\Sigma y=y^{T}E[(X-\mu )(X-\mu {)}^T]y$
$=E[y^T(X-\mu )(X-\mu {)}^T)y]$
$=E[((X-\mu {)}^{T}y{)}^T((X-\mu {)}^T)y)]$
$=E[||(X-\mu {)}^{T}y|{|}^2]\ge 0$

协方差矩阵是实对称矩阵

五、矩

5.1 混合矩和混合中心矩

设X和Y是随机变量
若：
$E(X^k{Y}^L)K,L=1,2,...$
存在，则称它为X和Y的K+L阶混合（原点）矩，
若：
E { [ X − E ( X ) ] k [ Y − E ( Y ) ] k } E{\{[X-E(X)]^k[Y-E(Y)]^k\}} E{[X−E(X)]k[Y−E(Y)]k}
存在，则称它为X和Y的K+L阶混合中心矩。
可以知道协方差cov（X，Y）是X和Y的二阶混合中心矩。