统计概率学习（二）协方差、协方差矩阵

一、协方差

协方差的定义如下：
数值$E[X-E(x)][Y-E(Y)]$为随机变量X与Y的协方差，记为Cov(X,Y)，即
$$Cov(X,Y)=E[X-E(x)][Y-E(Y)]$$.
对于D(X+Y),我们有
$$\begin{gathered} D(X+Y)=E(((X+Y)-E(X+Y){)}^2) \\ =E(((X-E(X)+(Y-E(Y){)}^2) \\ =E((X-E(X){)}^2+(Y-E(Y){)}^2 \\ +2\ast (X-E(X)(Y-E(Y)))) \\ =D(X)+D(Y)+2E((X-E(X))(Y-E(Y))) \\ =D(X)+D(Y)+2Cov(X,Y) \end{gathered}$$
当X,Y独立时，$D(X+Y)=D(X)+D(Y)$
协方差反映了随机变量X与Y的线性相关性。

• $Cov(X,Y)>0,X与Y正相关$
• $Cov(X,Y)=0,X与Y不相关$
• $Cov(X,Y)<0,X与Y负相关$
  独立一定不相关，不相关不一定独立
  相关性指的是线性相关性，随机变量之间可能存在非线性关系，比如$X=Y^2$。
  协方差是有量纲的数字特征，为了消除其量纲的影响，引入一个新概念：
  定义：数值$${\rho }_{xy}=\frac{Cov(X,Y)}{\sqrt{D(X)D(Y)}}$$
  称为随机变量X与Y的相关系数，是没有量纲的。
  性质：
• $|{\rho }_{xy}|\le 1$
• $|\rho =1|\leftrightarrow$存在常数a,b,使得$P(Y=a+bX)=1$
• 当$|\rho |$较大时，表明X与Y的线性相关程度较好；当$|\rho |=1$,表明X与Y以概率1存在线性关系。

二、协方差矩阵

定义:设$X=(X_1,X2,...,X_M{)}^T$为m维随机变量，称矩阵
$$\left[\begin{array}{ccccc}{c}_{11}& c_{12}& ...& c_{1m}& \\ c_{21}& c_{22}& ...& c_{2m}& \\ .& .& & .& \\ .& .& & .& \\ .& .& & .& \\ c_{m1}& c_{m2}& ...& c_{mm}& \end{array}\right]$$
为m维随机变量的协方差矩阵，记为D(X),其中，$$c_{ij}=Cov(X_i,X_j),i,j=1,2,...,m$$
为X的分量$X_i$和$X_j$的协方差。
假设有n个样本数据，每个样本数据有m个分量(或者说是m个特征)，将其表示为矩阵即是$S\in R^{n\ast m}$, 假设$\beta$为其行向量，则$$S=[{\beta }_1,{\beta }_2,...,{\beta }_n{]}^T$$,
样本协方差矩阵可用矩阵运算表示，
$$D(X)=\frac{1}{n-1}\sum _{i=1}^n({\beta }_i-\bar{\beta }{)}^T({\beta }_i-\bar{\beta })$$
$\bar{\beta }$为$\beta$的均值，也是一个行向量。
记忆公式的时候根据协方差矩阵的维度来记，前面的系数为n-1，n为样本数量，这是因为样本的均值并不是实际变量的均值，所以要进行修正，这和样本方差的计算是一致的。由于每个样本数据有m个维度(或者说特征),所以最后的矩阵维度一定是m*m。