方差、协方差、协方差矩阵以及互相关矩阵

---

1.方差和协方差

  在统计学中，方差是用来度量单个随机变量的离散程度，而协方差一般是用来度量两个随机变量的相似程度，其中方差的计算公式为：

$${\sigma }_x^2=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x}{)}^2$$
  其中，$n$表示样本总量，符号$\bar{x}$表示观测样本的均值。并且分母除以$n-1$表示无偏估计。

  在此基础上，协方差公式被定义为：
$$\sigma (x,y)=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})$$

  在公式中，$\bar{x},\bar{y}$分别表示两个随机变量对应的样本观测均值，据此，我们发现，方差${\sigma }_x^2$可以视作$x$关于自身的协方差$\sigma (x,x)$。

2.从方差/协方差到协方差矩阵

  根据方差的定义，给定$d$个随机变量$x_k,k=1,2,...,d$，则这些随机变量的方差为：
$$\sigma (x_k,x_k)=\frac{1}{n-1}\sum _{i=1}^n(x_{ki}-{\bar{x}}_k{)}^2,k=1,2,...,d$$
  其中，$x_{ki}$表示随机变量$x_k$中的第$i$个观测样本，$n$表示样本量，每个随机变量所对应的观测样本数量均为$n$。
  对于这写随机变量，我们还可以根据协方差的定义，求出两两之间的协方差，即：
$$\sigma (x_m,x_k)=\frac{1}{n-1}\sum _{i=1}^n(x_{mi}-\overline{x_m})(x_{ki}-\overline{x_k})$$

  因此，协方差矩阵(covariance matric)为：
$$\sum =\left[\begin{array}{ccc}\sigma (x_1,x_1)& ...& \sigma (x_1,x_d)\\ ⋮& \ddots & ⋮\\ \sigma (x_d,x_1)& \cdots & \sigma (x_d,x_d)\end{array}\right]\in R^{d\times d}$$
  其中，对角线上的元素为各个随机变量的方差，非对角线上的元素为两两随机变量之间的协方差。因为协方差$\sigma (x_m,x_k)$和$\sigma (x_k,x_m)$相等，矩阵$\sum$为对称矩阵，其大小为$d\times d$。

3.互相关矩阵

  假设有两个随机序列$X,Y$，则这两者的互相关矩阵为：
$$R_{XY}=E(X{Y}^T)$$
  如果两个序列的期望均为0，他们的互相关矩阵和协方差矩阵是一样的。从物理意义上来看，互相关矩阵呈现了两个随机序列的相似性，协方差矩阵反映了两个序列的离散程度。