高斯分布的相关知识

一元高斯分布

对于一维高斯分布，概率密度函数可表示为：
$$\begin{array}{rl}N(x;\mu ,{\sigma }^2)& =\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})\\ 1& ={\int }_{-\infty }^{+\infty }N(x;\mu ,{\sigma }^2)dx\end{array}$$
正态分布的数学期望值或期望值$\mu$等于位置参数，决定了分布的位置；其方差${\sigma }^2$的开平方或标准差$\sigma$等于尺度参数，决定了分布的幅度。我们通常所说的标准正态分布是位置参数$\mu =0$，尺度参数${\sigma }^2=1$的正态分布，其概率密度函数表示为
$$N(x;0,1)=\frac{1}{\sqrt{2\pi }}exp(-\frac{x^2}{2})$$

多维不相关高斯分布

先假设$n$维变量 $x=[x_1,x_2,\cdots ,x_n{]}^T$的各个分量相互独立，且每个分量维度都服从正态分布（维度不相关多元正态分布），各个维度的均值$\mu =[{\mu }_1,{\mu }_2,\cdots ,{\mu }_n{]}^T$， 方差 ${\sigma }^2=[{\sigma }_1^2,{\sigma }_2^2,\cdots ,{\sigma }_n^2{]}^T$。

多维不相关高斯分布联合概率密度公式：
$$\begin{array}{rl}f(x)& =N(x_1,x_2,\cdots ,x_n)=N(x_1)\cdot N(x_2)\cdots N(x_n)\\ & =\frac{1}{(\sqrt{2\pi }{)}^n{\sigma }_1{\sigma }_2\cdots {\sigma }_n}exp(-\frac{(x_1-{\mu }_1{)}^2}{2{\sigma }_1^2}-\frac{(x_2-{\mu }_2{)}^2}{2{\sigma }_2^2}\cdots -\frac{(x_n-{\mu }_n{)}^2}{2{\sigma }_n^2})\end{array}$$

这里令
$$\begin{array}{rl}{z}^2& =\frac{(x_1-{\mu }_1{)}^2}{{\sigma }_1^2}+\frac{(x_2-{\mu }_2{)}^2}{{\sigma }_2^2}\cdots +\frac{(x_n-{\mu }_n{)}^2}{{\sigma }_n^2},\\ {\sigma }_z& ={\sigma }_1\sigma 2\cdots {\sigma }_n\end{array}$$

则多维不相关高斯分布概率密度可写成
$$f(x)=\frac{1}{{\sqrt{2\pi }}^n{\sigma }_z}exp(-\frac{z^2}{2})$$
因为多元正态分布有着很强的几何思想，单纯从代数的角度看待$z$很难看出$z$的概率分布规律，这里需要转换成矩阵形式[3]。这里把$z$看成多元向量，那$z^2$就可以看成是向量内积的形式。则$z^2$可以表示成：
$$z^2=z^{T}z=[x_1-{\mu }_1,x_2-{\mu }_2\cdots ,x_n-{\mu }_n]\left[\begin{array}{cccc}\frac{1}{{\sigma }_1^2}& 0& \cdots & 0\\ 0& \frac{1}{{\sigma }_2^2}& \cdots & 0\\ ⋮& ⋮& \cdots & ⋮\\ 0& 0& \cdots & \frac{1}{{\sigma }_n^2}\end{array}\right][x_1-{\mu }_1,x_2-{\mu }_2\cdots ,x_n-{\mu }_n{]}^T$$
这里令$x-\mu =[x_1-{\mu }_1,x_2-{\mu }_2\cdots ,x_n-{\mu }_n{]}^T$ ，定义矩阵$\Sigma$，
$$\Sigma =\left[\begin{array}{cccc}{\sigma }_1^2& 0& \cdots & 0\\ 0& {\sigma }_2^2& \cdots & 0\\ ⋮& ⋮& \cdots & ⋮\\ 0& 0& \cdots & {\sigma }_n^2\end{array}\right]$$
其中，$\Sigma$矩阵的$i$行$j$列的元素值表示$x_i$与$x_j$的协方差。这里之所以是对角矩阵，是因为我们在一开始定义的时候就说明了$n$维变量 $x=[x_1,x_2,\cdots ,x_n{]}^T$相互独立。故除了自协方差，不同元素之间的协方差都是$0$。而且$\Sigma$矩阵一定是可逆的[8]。

由$\Sigma$是对角矩阵，则它的逆矩阵
$${\Sigma }^{-1}=\left[\begin{array}{cccc}\frac{1}{{\sigma }_1^2}& 0& \cdots & 0\\ 0& \frac{1}{{\sigma }_2^2}& \cdots & 0\\ ⋮& ⋮& \cdots & ⋮\\ 0& 0& \cdots & \frac{1}{{\sigma }_n^2}\end{array}\right]$$
它的行列式
$$|\Sigma |=\left|\begin{array}{cccc}{\sigma }_1^2& 0& \cdots & 0\\ 0& {\sigma }_2^2& \cdots & 0\\ ⋮& ⋮& \cdots & ⋮\\ 0& 0& \cdots & {\sigma }_n^2\end{array}\right|={\sigma }_1^2{\sigma }_2^2\cdots {\sigma }_n^2$$
则$|\Sigma {|}^{\frac{1}{2}}={\sigma }_1{\sigma }_2\cdots {\sigma }_n={\sigma }_z$

替换变量之后，则有：
$$z^2=z^{T}z=(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )$$
多维不相关高斯分布的概率密度函数可写成：
$$N(x;\mu ,\Sigma )=\frac{1}{{\sqrt{2\pi }}^n|\Sigma {|}^{\frac{1}{2}}}exp(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))$$

多维不相关高斯分布的最大似然估计量

假设$n$维样本 X = { x 1 , x 2 , ⋯   , x m } \large X = \{x_1,x_2,\cdots,x_m\} X={x1​,x2​,⋯,xm​}来自于高斯分布$x\sim N(\mu ,\Sigma )$，且$m>n$，其中$\mu$和$\Sigma$是未知的参数。所谓似然函数就是在给定$\mu$和$\Sigma$的情况下，样本$X$出现的条件概率密度函数$p(X|\mu ,\Sigma )$。因为样本$X$是随机选取的，也就是说，$x_1,x_2,\cdots ,x_n$是相互独立的观察值。

高斯分布$x\sim N(\mu ,\Sigma )$
$$N(x;\mu ,\Sigma )=\frac{1}{{\sqrt{2\pi }}^n|\Sigma {|}^{\frac{1}{2}}}exp(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))$$
定义关于参数 θ = { μ , Σ } \large \theta = \{\mu,\Sigma \} θ={μ,Σ}的$ln$最大似然函数为：
$$\begin{array}{rl}lnL(\theta )& =ln\prod _i^{m}N(x_i)\\ & =\sum _{i=1}^{m}lnN(x_i)\\ & =\sum _{i=1}^{m}ln[\frac{1}{{\sqrt{2\pi }}^n|\Sigma {|}^{\frac{1}{2}}}exp(-\frac{1}{2}(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu ))]\\ & =\sum _{i=1}^m(-\frac{n}{2}ln(2\pi )-\frac{1}{2}ln|\Sigma |-\frac{1}{2}(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu ))\\ & =-\frac{mn}{2}ln(2\pi )-\frac{m}{2}ln|\Sigma |-\sum _{i=1}^m\frac{1}{2}(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )\end{array}$$
我们的目标是要找出可是$lnL(\theta )$最大化的$\mu$和$\Sigma$。 最大似然估计法看似简单，但过程中涉及复杂艰涩的代数推导，尤其是引用许多矩阵、迹数(trace) 和行列式的导数公式，这些相关的知识，请查阅参考文献或者网页的[5] [6] [7]。

微分与矩阵，向量的关系定理：对于标量函数$f$和任意形式的$x$(矩阵或者向量或者标量)，有
$$df=Tr[(\frac{\partial f}{\partial x}{)}^{T}dx)]$$

对$\mu$进行估计

求极值需要对$\mu$求偏导(这里注意是对向量求导)，首先要介绍在标量对向量求导里的一个推论[5]：对于给定标量函数$f(x)=x^{T}Ax$，其中$A$是方阵，$x$是一个列向量，则$\frac{\partial f}{\partial x}=Ax+A^{T}x$。

证明：Notice: $Tr$ 代表取迹运算，$d$代表微分运算
$$\begin{array}{rl}df& =d(x^{T}Ax)\\ & =d[Tr(x^{T}Ax)](f是一个标量)\\ & =Tr[d(x^{T}Ax)](Tr运算与d运算可交换)\\ & =Tr[(d{x}^T)Ax+x^{T}d(Ax)](矩阵微分的性质)\\ & =Tr[(d{x}^T)Ax+x^{T}d(A)x+x^{T}Adx](dA=0)\\ & =Tr[(d{x}^T)Ax]+Tr[x^{T}Adx](Tr(A+B)=Tr(A)+Tr(B))\\ & =Tr[x^T{A}^{T}dx]+Tr[x^{T}Adx](Tr(X^T)=Tr(X))\\ & =Tr[(Ax+A^{T}x{)}^{T}dx]\end{array}$$
所以，根据上面所说的定理可得：
$$\frac{\partial f}{\partial x}=Ax+A^{T}x$$
如果$A$是一个对称阵，即$A^T=A$，那么$\frac{\partial f}{\partial x}=2Ax$

对$\mu$进行估计,要对$\mu$求偏导。则有：
$$\begin{array}{rl}\frac{\partial lnL(\theta )}{\partial \mu }& =\frac{\partial [-\frac{mn}{2}ln(2\pi )-\frac{m}{2}ln|\Sigma |-{\sum }_{i=1}^m\frac{1}{2}(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )]}{\partial \mu }\\ & =\frac{\partial [-\frac{1}{2}{\sum }_{i=1}^m(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )]}{\partial \mu }(去掉与\mu 无关的)\\ & =-\frac{1}{2}\sum _{i=1}^m\frac{\partial [(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )]}{\partial \mu }\\ & =-\frac{1}{2}\sum _{i=1}^m\frac{\partial (x_i-\mu )}{\partial \mu }\frac{\partial [(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )]}{\partial (x_i-\mu )}(\frac{\partial (x_i-\mu )}{\partial \mu }=-I)\\ & =\frac{1}{2}\sum _{i=1}^m\frac{\partial [(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )]}{\partial (x_i-\mu )}\\ & =\frac{1}{2}\sum _{i=1}^{m}2{\Sigma }^{-1}(x_i-\mu )(上面的推论)\\ & =\sum _{i=1}^m{\Sigma }^{-1}(x_i-\mu )\end{array}$$
令$\frac{\partial lnL(\theta )}{\partial \mu }=0$，即:
$$\begin{gathered} \sum _{i=1}^m{\Sigma }^{-1}(x_i-\mu )=0 \\ ⟹\sum _{i=1}^m(x_i-\mu )=0 \\ ⟹\mu =\frac{1}{m}\sum _{i=1}^m{x}_i \end{gathered}$$

对$\Sigma$进行估计

求极值需要对$\Sigma$求偏导
$$\begin{array}{rl}\frac{\partial lnL(\theta )}{\partial \Sigma }& =\frac{\partial [-\frac{mn}{2}ln(2\pi )-\frac{m}{2}ln|\Sigma |-{\sum }_{i=1}^m\frac{1}{2}(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )]}{\partial \Sigma }\\ & =\frac{\partial [-\frac{m}{2}ln|\Sigma |-\frac{1}{2}{\sum }_{i=1}^m(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )]}{\partial \Sigma }\\ & =\frac{\partial (-\frac{m}{2}ln|\Sigma |)}{\partial \Sigma }+\frac{\partial [-\frac{1}{2}{\sum }_{i=1}^m(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )]}{\partial \Sigma }\end{array}$$

式子中的第一项，这里是行列式对矩阵求导：
$$\begin{array}{rl}\frac{\partial (-\frac{m}{2}ln|\Sigma |)}{\partial \Sigma }& =-\frac{m}{2}\frac{\partial (ln|\Sigma |)}{\partial \Sigma }\\ & =-\frac{m}{2}\frac{1}{|\Sigma |}\frac{\partial (|\Sigma |)}{\partial \Sigma }\\ & =-\frac{m}{2}\frac{1}{|\Sigma |}(|\Sigma |{\Sigma }^{-1}{)}^T\\ & =-\frac{m}{2}{\Sigma }^{-1}\end{array}$$

式子中的第二项，这里不直接求，而用矩阵微分和$Tr$的关系来计算。由于是对$\Sigma$的微分：
$$\begin{array}{rl}& d[-\frac{1}{2}\sum _{i=1}^m(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )]\\ & =dTr[-\frac{1}{2}\sum _{i=1}^m(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )]\\ & =Tr[-\frac{1}{2}\sum _{i=1}^m(x_i-\mu {)}^{T}d{\Sigma }^{-1}(x_i-\mu )](Tr运算与d运算可交换)\\ & =Tr[-\frac{1}{2}\sum _{i=1}^m(x_i-\mu )(x_i-\mu {)}^{T}d{\Sigma }^{-1}]\\ & =-\frac{1}{2}\sum _{i=1}^{m}Tr[(x_i-\mu )(x_i-\mu {)}^{T}d{\Sigma }^{-1}]\\ & =-\frac{1}{2}\sum _{i=1}^{m}Tr[((x_i-\mu )(x_i-\mu {)}^T)(-{\Sigma }^{-1}d\Sigma {\Sigma }^{-1})](Note1)\\ & =\frac{1}{2}\sum _{i=1}^{m}Tr[{\Sigma }^{-1}[(x_i-\mu )(x_i-\mu {)}^T]{\Sigma }^{-1}d\Sigma ](Note2)\\ & =Tr[\frac{1}{2}\sum _{i=1}^m{\Sigma }^{-1}[(x_i-\mu )(x_i-\mu {)}^T]{\Sigma }^{-1}d\Sigma ]\end{array}$$

$$\begin{array}{rl}Note1:& \\ I& =\Sigma {\Sigma }^{-1}\\ 0& =dI=d(\Sigma {\Sigma }^{-1})\\ & =(d\Sigma ){\Sigma }^{-1}+\Sigma (d{\Sigma }^{-1})\\ d{\Sigma }^{-1}& =-{\Sigma }^{-1}(d\Sigma ){\Sigma }^{-1}\\ & \\ Note2:A& =[(x_i-\mu )(x_i-\mu {)}^T]{\Sigma }^{-1}d\Sigma ;\\ B& ={\Sigma }^{-1}\\ Tr的固有性质:& Tr(AB)=Tr(BA)\end{array}$$

因为
$$\begin{gathered} [(x_i-\mu )(x_i-\mu {)}^T]和{\Sigma }^{-1}都是对称矩阵 \\ ⟹(\frac{1}{2}\sum _{i=1}^m{\Sigma }^{-1}[(x_i-\mu )(x_i-\mu {)}^T]{\Sigma }^{-1}{)}^T=\frac{1}{2}\sum _{i=1}^m{\Sigma }^{-1}[(x_i-\mu )(x_i-\mu {)}^T]{\Sigma }^{-1} \end{gathered}$$

由微分与矩阵，向量的关系定理则有 :
$$\frac{\partial [-\frac{1}{2}{\sum }_{i=1}^m(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )]}{\partial \Sigma }=\frac{1}{2}\sum _{i=1}^m{\Sigma }^{-1}[(x_i-\mu )(x_i-\mu {)}^T]{\Sigma }^{-1}$$
则：
$$\frac{\partial L}{\partial \Sigma }=-\frac{m}{2}{\Sigma }^{-1}+\frac{1}{2}\sum _{i=1}^m{\Sigma }^{-1}[(x_i-\mu )(x_i-\mu {)}^T]{\Sigma }^{-1}$$
令$\frac{\partial L}{\partial \Sigma }=0$，可得：
$$\Sigma =\frac{1}{m}[\sum _{i=1}^m(x_i-\mu )(x_i-\mu {)}^T]$$

其中这里的$\mu$是上面估计的$\mu =\frac{1}{m}{\sum }_{i=1}^m{x}_i$。

参考文献或者网页

[1] 概率论与统计学2——深入理解高斯分布 - 知乎 (zhihu.com) https://zhuanlan.zhihu.com/p/125619927

[2] 正态分布（高斯分布）Techblog of HaoWANG-CSDN博客 https://blog.csdn.net/hhaowang/article/details/83898881?utm_medium=distribute.pc_relevant.none-task-blog-2_defaultbaidujs_baidulandingword~default-0.pc_relevant_aa&spm=1001.2101.3001.4242.1&utm_relevant_index=3

[3] 多元高斯分布（The Multivariate normal distributionhttps://www.cnblogs.com/bingjianing/p/9117330.html

[4] 概率笔记12——多维正态分布的最大似然估计 我是8位的-CSDN博客 https://blog.csdn.net/sunbobosun56801/article/details/99753664

[5] Matrix Calculus: Derivation and Simple Application HU, Pili∗ March 30, 2012

[6] 多变量常态分布的最大似然估计 https://ccjou.wordpress.com/2014/06/12/

[7] 迹数与行列式的导数 https://ccjou.wordpress.com/2013/06/03/

[8] 多元高斯分布的协方差矩阵为什么是可逆的？https://zhuanlan.zhihu.com/p/53927925