协方差矩阵与多元正态分布

协方差矩阵

协方差

在统计学中，方差用来度量单个随机变量的离散程度，而协方差用来刻画两个随机变量的相似程度，方差的计算公式
${\sigma }_x^2=\frac{1}{n-1}\sum _i^n(x_i-\bar{x})$
其中 $n$ 表示样本数，$\bar{x}$ 表示观测样本的均值。
协方差的计算公式定义为：
$\sigma (x,y)=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})$
在公式中，$\bar{x},\bar{y}$分别表示两个随机变量对应的观测样本均值。
可以发现：

方差 ${\sigma }_x^2$ 可视作随机变量 $x$ 关于自身的协方差。

协方差矩阵

给定一个$d$维随机向量$x=(x_1,x_2,\cdots ,x_d)$，则
$\sigma (x_m,x_k)=\frac{1}{n-1}\sum _{i=1}^n(x_{mi}-{\bar{x}}_m)(x_{ki}-{\bar{x}}_k)$
协方差矩阵为：
$$\Sigma =\left[\begin{array}{ccc}\sigma (x_1,x_1)& \cdots & \sigma (x_1,x_d)\\ ⋮& \ddots & ⋮\\ \sigma (x_d,x_1)& \cdots & \sigma (x_d,x_d)\end{array}\right]$$
根据上述协方差矩阵的定义，矩阵$\Sigma$为对称矩阵(symmetric matrix)，其大小为 $d\times d$。

多元正态分布

假设一个向量$x$服从均值向量为$\mu$的均值向量、协方差矩阵为$\Sigma$的多元正态分布(multi-variable Gaussian distribution)，则
$p(x)=|2\pi \Sigma {|}^{-\frac{1}{2}}\exp (-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))$

令均值向量$\mu =0$，指数前的系数 $|2\pi \Sigma {|}^{-\frac{1}{2}}$为常数项，所以有
$p(x)\propto \exp (-\frac{1}{2}{x}^T{\Sigma }^{-1}x)$

令$x$为二维随机向量$x=(x_1,x_2)$，其协方差矩阵为单位矩阵 $I_2$，则$x_1$和$x_2$的方差均为1，生成的散点图如下：

对于每个随机数，似然为：
$\mathcal{L}\propto \exp (-\frac{1}{2}{x}^{T}x)$
对图1的点进行一个线性变换：$t=Ax$，得到图2：

在上述变换中，矩阵$A$称为变换矩阵(transformation matrix)，将变换矩阵分解为两个矩阵。
尺度矩阵(scaling matrix)：
$S=\left[\begin{array}{cc}{s}_1& 0\\ 0& s_2\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 0& \frac{1}{2}\end{array}\right]$
旋转矩阵(rotation matrix)：
$R=\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]=\left[\begin{array}{cc}\cos \frac{\pi }{6}& -\sin \frac{\pi }{6}\\ \sin \frac{\pi }{6}& \cos \frac{\pi }{6}\end{array}\right]=\left[\begin{array}{cc}\frac{\sqrt{3}}{2}& -\frac{1}{2}\\ \frac{1}{2}& \frac{\sqrt{3}}{2}\end{array}\right]$

其中$\theta$为逆时针旋转的度数。

变换矩阵、尺度矩阵和旋转矩阵的关系：$A=RS$

$A=RS=\left[\begin{array}{cc}\frac{\sqrt{3}}{2}& -\frac{1}{4}\\ \frac{1}{2}& \frac{\sqrt{3}}{4}\end{array}\right]$

经过线性变换 $t=Ax$，$t$的分布：
将$x=A^{-1}t$ 带入似然 $\mathcal{L}(x)$
$$\begin{gathered} \mathcal{L}\propto \exp (-\frac{1}{2}(A^{-1}t{)}^T(A^{-1}t)) \\ =\exp (-\frac{1}{2}{t}^T(A^{T}A{)}^{-1}t) \end{gathered}$$
可得，多元正态分布的协方差矩阵：
$\Sigma =A{A}^T=\left[\begin{array}{cc}\frac{13}{16}& \frac{3\sqrt{3}}{16}\\ \frac{3\sqrt{3}}{16}& \frac{7}{16}\end{array}\right]$

协方差矩阵的特征值分解

对于实对称矩阵$\Sigma$，必相似于对角矩阵，即存在可逆矩阵P，满足：
$\Sigma =P\Lambda P^T$
$P$的每一列为相互正交的特征向量，$\Lambda$为对角矩阵，特征值从大到小排列。

上述对称矩阵的分解可得：
$\Sigma =(P{\Lambda }^{1/2})(P{\Lambda }^{1/2}{)}^T=A{A}^T=(RS)(RS{)}^T$
可得：
$P=R=\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]=\left[\begin{array}{cc}\frac{\sqrt{3}}{2}& -\frac{1}{2}\\ \frac{1}{2}& \frac{\sqrt{3}}{2}\end{array}\right]$
$\Lambda =S{S}^T=\left[\begin{array}{cc}{s}_1^2& 0\\ 0& s_2^2\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 0& \frac{1}{4}\end{array}\right]$

所以，多元正态分布得概率密度由协方差矩阵的特征向量控制旋转(rotation)，特征值控制尺度(scale)，均值向量控制概率密度的均值。

关于矩阵在线性变换的理解，见下篇博客。

如何直观地理解「协方差矩阵」？