概率论：协方差矩阵

一、协方差矩阵

1.1 从方差/协方差到协方差矩阵

根据方差的定义，给定$d$个随机变量$x_k,i=1,2,...,d$，则这些随机变量的方差为：

$\sigma (x_k,x_k)=\frac{1}{n-1}{\sum }_{i=i}^n(x_{ki}-{\overline{x}}_k{)}^2$

其中$x_{ki}$表示随机变量$x_k$中的第$i$个观测样本，$n$表示样本量，每个随机变量所对应的观测样本数均为$n$

对于这些随机变量，我们还可以根据协方差的定义，求出两两之间的协方差，即：

$\sigma (x_m,x_k)=\frac{1}{n-1}{\sum }_{i=1}^n(x_{mi}-{\overline{x}}_m)(x_{ki}-{\overline{x}}_k)$

为了表示这d个随机变量两两间的相关关系，提出了协方差矩阵的概念，协方差矩阵形式如下：

$\Sigma =\left[\begin{array}{cccc}\sigma (x_1,x_1)& \sigma (x_1,x_2)& \dots & \sigma (x_1,x_n)\\ \sigma (x_2,x_1)& \sigma (x_2,x_2)& \dots & \sigma (x_2,x_n)\\ ⋮& ⋮& \ddots & ⋮\\ \sigma (x_n,x_1)& \sigma (x_n,x_2)& \dots & \sigma (x_n,x_n)\end{array}\right]\in R^{d\times d}$

其中，对角线上的元素为各个随机变量的方差，非对角线上的元素为两两随机变量之间的协方差，根据协方差的定义，我们可以知道协方差矩阵是一个对称矩阵。

1.2 多元正态分布与线性变换

假设一个向量$x$服从均值向量为$\mu$、协方差矩阵为$\Sigma$的多元正态分布，则：

$p(x)=\frac{1}{\sqrt{2\pi \Sigma }}{e}^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$

令该分布的均值向量为$\mu =0$，由于指数项外面的系数$|2\pi \Sigma {|}^{-\frac{1}{2}}$通常是常数，故可将多元正态分布简化为

$p(x)\propto exp(-\frac{1}{2}{x}^T{\Sigma }^{-1}x)$

此时用二元正态分布实例化这个分布，令$x=(y,z{)}^T$，包含两个随机变量$y$和$z$，则协方差矩阵可写成如下形式：

$\Sigma =\left[\begin{array}{cc}\sigma (y,y)& \sigma (y,z)\\ \sigma (z,y)& \sigma (z,z)\end{array}\right]\in R^{2\times 2}$

假设这个协方差矩阵为单位矩阵，生成若干个随机数如下图所示：

在生成的若干个随机数中，每个点的似然为：

$L(x)\propto exp(-\frac{1}{2}{x}^{T}x)$

对上图中的每个点都考虑一步线性变换：$t=A(x)$，我们可以得到图二：