多维高斯分布

简介

  高斯分布是比较常见的概率分布，一维高斯分布如下：
$$f(x)=\frac{1}{2\pi \sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
其中，$\sigma$是方差，$\mu$是平均值。但是常见的一般是多维高斯分布，我们可以由一维的高斯分布推广到多维的高斯分布。

推导

  多维高斯分布的表示如下：
P ( x ∣ μ , Σ ) = 1 ( 2 π ) n / 2 ∣ Σ ∣ 1 / 2 e x p { − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) } P(x|\mu,\Sigma)=\frac{1}{{(2\pi)}^{n/2}|\Sigma|^{1/2}}exp\{{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)}\} P(x∣μ,Σ)=(2π)n/2∣Σ∣1/21​exp{−21​(x−μ)TΣ−1(x−μ)}
其中，$\mu =E(x)$， Σ = C o v ( x ) = E { ( x − μ ) ( x − μ ) T } \Sigma=Cov(x)=E\{(x-\mu)(x-\mu)^T\} Σ=Cov(x)=E{(x−μ)(x−μ)T}，$\mu$是均值向量，$\Sigma$是协方差矩阵。
  由多维高斯分布可以推导出联合高斯分布，假设有多维变量$X_1$和$X_2$，它们的联合高斯分布和之前的形式一样，只不过相关参数有所变化，相关参数如下：
$$\mu =\left[\begin{array}{c}{\mu }_1\\ {\mu }_2\end{array}\right]$$
$$\Sigma =\left[\begin{array}{cc}{\Sigma }_{11}& {\Sigma }_{12}\\ {\Sigma }_{21}& {\Sigma }_{22}\end{array}\right]$$

  条件高斯分布$P(X_1|X_2=x_2)$的参数如下：
$${\mu }_{1|2}={\mu }_1+{\Sigma }_{12}{\Sigma }_{22}^{-1}(x_2-{\mu }_2)$$
$${\Sigma }_{1|2}={\Sigma }_{11}-{\Sigma }_{22}^{-1}{\Sigma }_{21}$$
  多维高斯分布可以由多个变量的联合概率分布推导出来，一开始，我们考虑n个彼此无关的高斯分布变量，它们的联合概率密度为
$$f(x_1,x_2,...,x_n)=\prod _{i=0}^{n}f(x_i)=\frac{1}{(2\pi {)}^{n/2}{\prod }_{i=1}^n{\sigma }_i}\exp -\sum _{i=1}^n\frac{(x_i-{\mu }_i{)}^2}{{\sigma }^2}$$
其中，${\mu }_i$为$x_i$的均值，${\sigma }_i$为$x_i$的方差。
这和多维高斯分布是一致的，由于各个变量不相关，所以协方差矩阵$\Sigma$是对角阵$$\Sigma =dialog({\sigma }_1^2,{\sigma }_2^2,...,{\sigma }_n^2)$$
利用多维高斯分布计算出来的结果与上式相同。

极大似然估计

  我们可以利用极大似然估计对多维高斯分布的参数进行估计。给定数据 X = { x 1 , x 2 , . . . , x n } X=\{x_1,x_2,...,x_n\} X={x1​,x2​,...,xn​}，已知$x\sim N(\mu ,\Sigma )$，估计参数$\mu$和$\Sigma$的值。
  概率的对数似然函数如下：
$$\ln p(X|\mu ,\Sigma )=-\frac{N}{2}\ln \det (\Sigma )-\frac{1}{2}\sum _{n=1}^N(x_n-\mu {)}^T{\Sigma }^{-1}(x_n-\mu )+const$$
将上式对$\mu$求导，得${\nabla }_{\mu }\ln p(X|\mu ,\Sigma )={\sum }_{n=1}^N{\Sigma }^{-1}(\mu -x_n)={\Sigma }^{-1}{\sum }_{n=1}^N(\mu -x_n)=0$
于是，$\hat{\mu }=\frac{1}{N}{\sum }_{n=1}^N{x}_n$.

将上式对$\Sigma$求导，需要先用"trace trick"对对数似然函数变形，对于矩阵的迹，有以下性质:

• 如果c是数值，那么$tr(c)=c$

• 如果A,B是两个矩阵而且AB和BA是有定义的，那么$tr(AB)=tr(BA)$

• ${\nabla }_{A}BA=B^T$

• ${\nabla }_A\ln (\det (A))=(A^{-1}{)}^T$

• 如果x是k1的向量，A是kk的对称矩阵，那么${\nabla }_x(x^{T}Ax)=2Ax$

将上述对数似然函数变形，得（因为是求导，所以我们忽略常数项）
$$\begin{array}{rl}\ln p(X|\mu ,\Sigma )=& -\frac{N}{2}\ln \det (\Sigma )-\frac{1}{2}\sum _{n=1}^{N}tr((x_n-\mu {)}^T{\Sigma }^{-1}(x_n-\mu ))\\ =& -\frac{N}{2}\ln \det (\Sigma )-\frac{1}{2}\sum _{n=1}^{N}tr({\Sigma }^{-1}(x_n-\mu )(x_n-\mu {)}^T)\\ =& -\frac{N}{2}\ln \det (\Sigma )-\frac{1}{2}tr({\Sigma }^{-1}\sum _{n=1}^N(x_n-\mu )(x_n-\mu {)}^T)\end{array}$$
将上式对${\Sigma }^{-1}$求导，首先，
$${\nabla }_{{\Sigma }^{-1}}\ln \det (\Sigma )=-{\nabla }_{{\Sigma }^{-1}}\ln \det ({\Sigma }^{-1})=-{\Sigma }^T$$
于是，
$${\nabla }_{{\Sigma }^{-1}}\ln p(X|\mu ,\Sigma )=\frac{N}{2}{\Sigma }^T-\frac{1}{2}\sum _{n=1}^N(x_n-\mu )(x_n-\mu {)}^T$$
令上式等于0,得
$$\Sigma =\frac{1}{N}\sum _{n=1}^N(x_n-\hat{\mu })(x_n-\hat{\mu }{)}^T$$

参考资料

• 多维高斯分布是如何由一维发展而来的？
• Multidimensional Gaussian distribution
• Multivariate-normal-distribution-maximum-likelihood