实用多元高斯分布

本文简单概括多元高斯分布的定义、性质与简单应用技术，内容会持续更新。读者也可参考此文。

多元高斯分布定义

设 $s$ 维随机向量 $x=[x_1,x_2,\dots ,x_s{]}^T$ 的概率密度函数为：
$$f(x_1,x_2,\dots ,x_s)=\frac{1}{(2\pi {)}^{s/2}|\Sigma {|}^{1/2}}\exp \left(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )\right)$$
其中 $x=(x_1,x_2,\dots ,x_s{)}^T$，$\mu$ 是 $s$ 维非随机向量，$\Sigma$ 是 $s$ 阶正定阵。则称 $x$ 服从 $s$ 元高斯（正态）分布，简单记为 $x\sim N_s(\mu ,\Sigma )$。

• $\mu$ 是 $X$ 的均值向量：$\mu =\mathbb{E}[x]$。
• $\Sigma$ 是 $X$ 的协方差矩阵：$\Sigma =\mathrm{c}\mathrm{o}\mathrm{v}[x]=\mathbb{E}[(x-\mu )(x-\mu {)}^T]$
• ${\Sigma }^{-1}$ 被定义为精度矩阵（Precision Matrix or Concentration Matrix）。

指数函数括号内的表达式被称为两个向量之间的马氏距离（Mahalanobis distance）。为了更深入理解这个值，对$\Sigma$进行特征值分解：$\Sigma =U\Lambda U^T$，其中$U$是由特征向量组成对标准正交阵，$U^{T}U=I$；$\Lambda$ 是由特征值组成的对角阵。
$${\Sigma }^{-1}=U^{-T}{\Lambda }^{-1}{U}^{-1}=U{\Lambda }^{-1}{U}^T=\sum _{i=1}^s\frac{1}{{\lambda }_i}{u}_i{u}_i^T$$ 其中 $u_i$ 是 $U$ 中的列向量。如此，这个马氏距离可以被重写为：
( x − μ ) T Σ − 1 ( x − μ ) = ( x − μ ) T ( ∑ i = 1 s 1 λ i u i u i T ) ( x − μ ) = ∑ i = 1 s 1 λ i ( x − μ ) T u i u i T ( x − μ ) = ∑ i = 1 s y i 2 λ i \begin{aligned}(x-\mu)^{T}\Sigma^{-1}(x-\mu) &= (x-\mu)^{T}\left( \sum_{i=1}^{s}\frac{1}{\lambda_{i}}u_{i}u_{i}^{T} \right) (x-\mu) \\ &= \sum_{i=1}^{s}\frac{1}{\lambda_{i}}(x-\mu)^{T}u_{i}u_{i}^{T}(x-\mu) \\ &= \sum_{i=1}^{s}\frac{y_{i}^{2}}{\lambda_{i}} \end{aligned} (x−μ)TΣ−1(x−μ)​=(x−μ)T(i=1∑s​λi​1​ui​uiT​)(x−μ)=i=1∑s​λi​1​(x−μ)