混合高斯模型(Gaussian Mixture Model)及其参数计算方法

高斯分布

  高斯分布(Gaussian Distribution)又称正态分布(Normal Distribution)，因其具有良好的数学和计算性质，被广泛应用于各个领域。
    根据棣莫弗中心极限定理，一组具有有限均值方差的独立同分布的随机变量之和，近似服从正态分布。这个定理奠定了自然界中的各种现象，必定和正态分布有着密不可分的关系。

一维高斯分布

  设一维随机变量$X$服从均值为$\mu$，方差为${\sigma }^2$的正态分布，记为$X\sim N(\mu ,{\sigma }^2)$
其概率密度函数(PDF)为：
$$\begin{array}{c}\varphi (x;\mu ,\sigma )=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}\end{array}$$
   高斯分布的概率密度函数呈现出在均值处高、两边低的形状，因此又被称为钟形分布

多维高斯分布

   多维高斯分布的每一个维度都是一个正态分布，它们不一定互相独立，下图是一个二维正态分布^[1]的概率密度函数图像：

具有协方差矩阵$\Sigma$的$N$维正态分布，可记为$N(\mu ,\Sigma )$，其中：
$\mu$ 代表均值向量
$\Sigma$ 代表协方差矩阵

其概率密度表达式为：
$$\begin{array}{c}\varphi (x;\mu ,\Sigma )=\frac{1}{(2\pi {)}^{\frac{N}{2}}|\Sigma {|}^{\frac{1}{2}}}{e}^{-\frac{(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}{2}}\end{array}$$

混合高斯模型(GMM)

  对于一组呈多峰分布的数据或非椭圆分布族，难以用一个正态分布进行建模，因此需要使用混合模型对其进行建模。

混合高斯模型概率分布

$$\begin{array}{c}p(x;\theta )=\sum _{k=1}^K{\alpha }_k\varphi (x;{\theta }_k),\sum _{k=1}^K{\alpha }_k=1\end{array}$$
其中^[2]：
${\alpha }_k$ 代表第$k$个子模型在总体中出现的概率
$K$ 代表一共有$K$个子模型
$\theta$ 代表GMM中各个子模型的参数集合
${\theta }_k$ 代表第$k$个子模型的参数

  可以看到，GMM并不是多个服从正态分布的随机变量的和，而是多个服从正态分布的随机变量的概率密度的加权和。并且容易证明，对$(3)$式进行反常积分，结果还是1。
  从式子中也可以很直观地想象出GMM密度函数的图像是包含多个正态峰的曲线。

参数估计

对于给定的大量样本集合，可以使用极大似然估计求出其各个子模型的均值和方差
对于$N$个独立同分布的样本，以及给定的超参数K，该分布参数的似然函数为：
$$\begin{array}{c}\begin{array}{rl}L(\theta )& =ln\prod _{i=1}^{N}p(x_i;\theta )\\ & =\sum _{i=1}^N(ln\sum _{k=1}^K{\alpha }_k{\varphi }_k(x_i;{\theta }_k))\end{array}\end{array}$$
求解这个似然函数的极大值非常困难，但是可以使用EM算法进行迭代求解

EM算法求解参数

令$p_{ik}$代表给定第$i$个样本的值，其在第$k$个子模型中的概率，即$P(K=k|X=x_i)$
迭代法算法如下：

1. 初始化${\theta }_k$
2. 计算$p_{ik}$：
   $$p_{ik}=\frac{{\alpha }_k{\varphi }_k(x_i|{\theta }_k)}{{\sum }_{k=1}^K{\alpha }_k{\varphi }_k(x_i|{\theta }_k)}$$
3. 计算${\mu }_k$：
   $${\mu }_k=\frac{{\sum }_{i=1}^N{p}_{ik}{x}_i}{{\sum }_{i=1}^N{p}_{ik}}$$
4. 计算${\sigma }_k$：
   $${\sigma }_k=\frac{{\sum }_{i=1}^N{p}_{ik}(x_i-{\mu }_k)(x_i-{\mu }_k{)}^T}{{\sum }_{i=1}^N{p}_{ik}}$$
5. 计算下一次迭代的${\alpha }_k$，若$||{\theta }_i-{\theta }_{i+1}||<\epsilon$，终止迭代；否则，转第2步
   $${\alpha }_k=\frac{{\sum }_{i=1}^N{p}_{ik}}{N}$$

  为了保证迭代不会使极大似然函数陷入局部极大值，可以多次赋予初始值进行迭代，并取使极大似然函数最大的一组迭代结果。

参考文献

[1] https://baike.baidu.com/item/二维正态分布/2951835
[2] https://zhuanlan.zhihu.com/p/30483076