多元正态分布（Multivariate normal distribution）

多元正态分布（Multivariate normal distribution）

前言

我们通常讨论正态分布都是在一元（univariate）的情况下，相信下面的定义大家都很熟悉了：假设随机变量$X$服从正态分布，则$X$具有概率密度函数：
$$f(x)=(\sqrt{2\pi }\sigma {)}^{-1}\text{exp}(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$
其中$\mu$表示$X$的均值，${\sigma }^2$表示其方差。

有不少读者应该也看到过下面这个公式：
$$\begin{array}{rl}f(x_1,x_2)=& (2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}{)}^{-1}\text{exp}[-\frac{1}{2(1-{\rho }^2)}(\frac{(x_1-{\mu }_1{)}^2}{{\sigma }_1^2}\\ & -\frac{2\rho (x_1-{\mu }_1)(x_2-{\mu }_2)}{{\sigma }_1{\sigma }_2}+\frac{(x_2-{\mu }_2{)}^2}{{\sigma }_2^2})]\end{array}$$
没错，这正是将正态分布拓展到二维的情况，即：
$$X=[X_1,X_2{]}^T$$
其中$X_1$,$X_2$分别服从正态分布。

有不少读者应该和我一样，看到这个二维的公式就头痛了，这他娘的一堆是啥玩意儿啊？老实说把上面的公式准确的打出来还花费了我不少功夫，可见公式之复杂，如果再往三元以上，简直不敢想象了。

由于许多本文许多内容我是从wikipedia看的，现学现卖，自己也是似懂非懂，不敢误人子弟，只能把自己确定的一些心得写一写，以作备忘，如果可以，也能给一些同有此问的后来者一些帮助。

多元正态分布

假设$X=(X_1,X_2,\cdots ,X_k{)}^T$是一个$k$维的列向量，服从多元正态分布，我们可以把它记做：
$$X\sim N(\mu ,\Sigma )$$
其中，
$$\begin{array}{rl}& \mu =E(X)=({\mu }_1,{\mu }_2,\cdots ,{\mu }_k)\\ & {\Sigma }_{i,j}=Cov(X_i,X_j)\end{array}$$
对于多元随机变量，我们最关心的是它的概率函数，当上述协方差矩阵是正定的（positive definite），分布才有概率密度函数，这种情况被称为“非退化的”（non-degenerate）。这里笔者亦不甚解，猜测大概和协方差矩阵$\Sigma$是否可逆有关。

如果多元正态分布的概率密度函数存在，它被定义如下：
$$f(x_1,x_2,\cdots ,x_k)=\frac{\text{exp}(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))}{\sqrt{(2\pi {)}^k|\Sigma |}}$$
其中$|\Sigma |$表示协方差矩阵的行列式（determinant)。

二元情况的推导

我们根据上面多元正态分布概率密度函数的定义，来求一求二元(bivariate)的情况，即令$k$=2。

此时$x=(x_1,x_2{)}^T,\mu =({\mu }_1,{\mu }_2{)}^T$。
$$\Sigma =\left(\begin{array}{cc}{\sigma }_1^2& \rho {\sigma }_1{\sigma }_2\\ \rho {\sigma }_1{\sigma }_2& {\sigma }_2^2\end{array}\right)$$
其中$\rho$为相关系数，定义为：
$$\rho =\frac{Cov(X_1,X_2)}{{\sigma }_2{\sigma }_2}$$
对于$2\times 2$的矩阵A，如果:
$$A=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)$$
通常有：
$$A^{-1}=\frac{1}{ad-bc}\left(\begin{array}{cc}d& -b\\ -c& a\end{array}\right)$$
根据上公式求得;
$${\Sigma }^{-1}=\frac{1}{(1-{\rho }^2){\sigma }_1^2{\sigma }_2^2}\left(\begin{array}{cc}{\sigma }_2^2& -\rho {\sigma }_1{\sigma }_2\\ -\rho {\sigma }_1{\sigma }_2& {\sigma }_1^2\end{array}\right)$$
又：
$$|\Sigma |=(1-{\rho }^2){\sigma }_1^2{\sigma }_2^2$$
代入上式得：
$$\begin{array}{rl}f(x_1,x_2)& =\frac{\text{exp}(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))}{\sqrt{(2\pi {)}^2|\Sigma |}}\\ & =\frac{1}{\sqrt{(2{\pi }^2)(1-{\rho }^2){\sigma }_1^2{\sigma }_2^2}}\text{exp}(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))\\ & =\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}\text{exp}(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))\end{array}$$
其中：
$$\begin{array}{rl}& (x-\mu {)}^T{\Sigma }^{-1}(x-\mu )\\ & =(x_1-{\mu }_1,x_2-{\mu }_2)\frac{1}{(1-{\rho }^2){\sigma }_1^2{\sigma }_2^2}\left(\begin{array}{cc}{\sigma }_2^2& -\rho {\sigma }_1{\sigma }_2\\ -\rho {\sigma }_1{\sigma }_2& {\sigma }_1^2\end{array}\right)(x_1-{\mu }_1,x_2-{\mu }_2{)}^T\\ & =\frac{1}{(1-{\rho }^2){\sigma }_1^2{\sigma }_2^2}({\sigma }_2^2(x_1-{\mu }_1)-\rho {\sigma }_1{\sigma }_2(x_2-{\mu }_2),{\sigma }_1^2(x_2-{\mu }_2)-\rho {\sigma }_1{\sigma }_2(x_2-{\mu }_2))(x_1-{\mu }_1,x_2-{\mu }_2{)}^T\\ & =\frac{1}{(1-{\rho }^2){\sigma }_1^2{\sigma }_2^2}[{\sigma }_2^2(x_1-{\mu }_1{)}^2-2\rho {\sigma }_1{\sigma }_2(x_1-{\mu }_1)(x_2-{\mu }_2)+{\sigma }_1^2(x_2-{\mu }_2{)}^2]\\ & =\frac{1}{(1-{\rho }^2)}[\frac{(x_1-{\mu }_1^2)}{{\sigma }_1^2}-2\rho \frac{(x_1-{\mu }_1)(x_2-{\mu }_2)}{{\sigma }_1{\sigma }_2}+\frac{(x_2-{\mu }_2^2)}{{\sigma }_2^2}]\end{array}$$
和上面的式子整合一下即可的到二元变量的概率密度。

参考资料

[1] Multivariate normal distribution

[2] 概率论与数理统计，陈希孺，中国科学技术大学出版社