机器学习-白板推导系列(十一)-高斯混合模型GMM（Gaussian Mixture Model）

11. 高斯混合模型GMM（Gaussian Mixture Model）

11.1 模型介绍

这一章将进入到Guassian Mixture Model (GMM)的学习。而为什么要学习GMM呢？本节从几何角度、混合模型角度和样本生成过程角度来介绍GMM。

1. 几何角度
   从几何角度来看：GMM为加权平均（多个高斯分布叠加而成）。以一维数据为例，我们可以看到下图通过将多个单一的高斯模型加权叠加到一起就可以获得一个高斯混合模型，这个混合模型显然具备比单个高斯模型更强的拟合能力：
   
   一个混合高斯分布就是多个高斯分布叠加而成的。那么，概率密度函数，可以被我们写成：
   $$p(x)=\sum _{k=1}^K{\alpha }_k\mathcal{N}({\mu }_k,{\Sigma }_k),\sum _{k=1}^K{\alpha }_k=1.\text{\hspace{1em}(11.1.1)}$$

2. 混合模型角度
   如果当输入变量的维度高于一维时，就不能使用简单的加权来看了。因为，这时已经无法简单的用加权平均来计算了，正如下图所示：
   
   其中，$X$是$ObservableVariable$，$Z$是$LatentVariable$。这个$Z$是个什么意思呢？我们先举一个小例子。看到图2中那个打了红圈圈的数据点。它既属于$C_1$的分布，并且也属于$C_2$的分布，我们可以写作：
   $$\{\begin{array}{ll}X\sim C_1& \\ X\sim C_2& \end{array}\text{\hspace{1em}(11.1.2)}$$
   也 可以写成$X\sim Z$，这时$Z$就是一个离散的随机变量，它包含了$C_1,C_2,\cdots ,C_N$的概率分布，${\sum }_{k=1}^N{p}_k=1$。$Z$就是对应的样本$X$是属于哪一个高斯分布的概率。可以被我们写成：

   $Z$	$C_1$	$C_2$	…	$C_N$
   $P$	$p_1$	$p_2$	…	$p_N$

3. 样本生成过程角度
   假设有一个骰子，有$K$个面，每个面都是不均匀的，假设可以控制每一个面的质量，那么这个骰子的面出现的概率会符合某个分布。有$K$个面，就有$K$个高斯分布。那么每次我们就投一下这个骰子，根据出现的面$K$，选择在第$K$个高斯分布中进行采样，生成一个样本点$x_i$。即：

   • 首先第一步掷一下骰子来决定用哪个高斯分布去生成；
   • 第二步在这个高斯分布下采样，采到一个样本就生成一个。

   概率图可以被我们描述为如下形式：
   
   其中实心点代表模型的参数，右下角的N代表样本个数。根据一个离散的随机变量$Z$来选择是选取某一个高斯分布，利用这个高斯分布$\mathcal{N}(\mu ,\Sigma )$来采样得到我们想要的样本点。而且，离散随机变量$Z$符合一个离散分布$p=(p_1,p_2,\cdots ,p_k)$。

---

11.2 极大似然

本节试图使用极大似然估计来求解Gaussian Mixture Model (GMM)的最优参数结果。首先，明确参数的意义：

• $X$：Observed data，$X=(x_1,x_2,\cdots ,x_N)$。
• $(X,Z)$：Complete data， ( X , Z ) = { ( x 1 , z 1 ) , ( x 2 , z 2 ) , ⋯   , ( x N , z N ) } (X,Z) = \{ (x_1,z_1),(x_2,z_2),\cdots,(x_N,z_N) \} (X,Z)={(x1​,z1​),(x2​,z2​),⋯,(xN​,zN​)}。
• $\theta$：parameter， θ = { P 1 , ⋯   , P k , μ 1 , ⋯   , μ k , Σ 1 , ⋯   , Σ k } \theta=\{ P_1, \cdots, P_k, \mu_1, \cdots, \mu_k,\Sigma_1,\cdots,\Sigma_k \} θ={P1​,⋯,Pk​,μ1​,⋯,μk​,Σ1​,⋯,Σk​}。

1. Maximum Likelihood Estimation求解参数

   1. $P(x)$可以表示为：
      $$\begin{array}{rl}p(x)& =\sum _{Z}p(x,Z)\\ & =\sum _{k=1}^{K}p(x,z=C_k)\\ & =\sum _{k=1}^{K}p(z=C_k)\cdot p(x|z=C_k)\\ & =\sum _{k=1}^K{p}_k\cdot \mathcal{N}(x|{\mu }_k,{\Sigma }_k)\end{array}\text{\hspace{1em}(11.2.1)}$$
      对比公式(11.1.1)可见几何角度的结果中的${\alpha }_k$就是混合模型中的$p_k$，权重即概率。

   2. 尝试使用MLE求解GMM参数
      尝试使用MLE求解GMM参数的解析解。

      实际上GMM一般使用EM算法求解，$因为使用MLE求导后，无法求出具体解析解$。所以接下来我们来看看为什么MLE无法求出解析解。

      $$\begin{array}{rl}{\hat{\theta }}_{MLE}& =\underset{\theta }{\mathrm{argmax}}logp(X)\\ & =\underset{\theta }{\mathrm{argmax}}log\prod _{i=1}^{N}p(x_i)\\ & =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^{N}logp(x_i)\\ & =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^{N}log\sum _{k=1}^K{p}_k\cdot N(x_i|{\mu }_k,{\Sigma }_k)\end{array}\text{\hspace{1em}(11.2.2)}$$
      想要求的$\theta$包括， θ = { p 1 , ⋯   , p K , μ 1 , ⋯   , μ K , Σ 1 , ⋯   , Σ K } \color{blue}\theta=\{ p_1, \cdots, p_K, \mu_1, \cdots, \mu_K,\Sigma_1,\cdots,\Sigma_K \} θ={p1​,⋯,pK​,μ1​,⋯,μK​,Σ1​,⋯,ΣK​}。

2. MLE的问题
   按照之前的思路，是对每个参数进行求偏导来计算最终的结果。但$\log$函数里是一个求和的形式，而不是求积的形式。这意味着计算非常的困难。甚至根本就求不出解析解。如果是单一的Gaussian Distribution：
   $$\log p(x_i)=\log \frac{1}{\sqrt{2\pi }\sigma }\exp \left\{-\frac{(x_i-\mu {)}^2}{2\sigma }\right\}.\text{\hspace{1em}(11.2.3)}$$
   根据$\log$函数优秀的性质，这个问题是可以解的。但是，很不幸$公式(11.2.2)后面是一个求和的形式$。所以，直接使用MLE求解GMM，无法得到解析解。对于含有隐变量的模型来说使用EM算法是更为合适的。

---

11.3 EM求解-E-Step

上一小节使用极大似然估计的方法，根本就求不出最优参数$\theta$的解析解。所以本节使用迭代的方法来求近似解。EM算法的表达式，可以被我们写为：
$${\theta }^{(t+1)}=\arg \underset{\theta }{\max }\underset{Q(\theta ,{\theta }^{(t)})}{\underbrace{{\mathbb{E}}_{z\sim P(z|x,{\theta }^{(t)})}\left[\log P(x,z|\theta )\right]}}.\text{\hspace{1em}(11.3.1)}$$

经过一系列的迭代，可得 { θ ( 0 ) , θ ( 1 ) , ⋯   , θ ( t ) } \{\theta^{(0)},\theta^{(1)},\cdots,\theta^{(t)}\} {θ(0),θ(1),⋯,θ(t)}，迭代到一定次数后的${\theta }^{(N)}$就是想要得到的结果。EM算法大体上可以分成两个部分，E-step和M-step:

• E(Expectation)-step：$P(z|x,{\theta }^{(t)})⟶{\mathbb{E}}_{z\sim P(z|x,{\theta }^{(t)})}\left[\log P(x,z|\theta )\right]$
• M(Maximization)-step：${\theta }^{(t+1)}=\arg \underset{\theta }{\max }{\mathbb{E}}_{z\sim P(z|x,{\theta }^{(t)})}\left[\log P(x,z|\theta )\right]$

1. 准备

   1. $Z$是一个离散的随机变量，它包含了$C_1,C_2,\cdots ,C_N$的概率分布，${\sum }_{k=1}^N{P}_k=1$。$Z$就是对应的样本$X$是属于哪一个高斯分布的概率。可以被我们写成：

   $Z$	$C_1$	$C_2$	…	$C_N$
   $P$	$p_1$	$p_2$	…	$p_N$

   2. 使用EM算法需要用到联合概率$p(x,z)$和后验$p(z|x)$，所有我们首先写出这两个概率的表示：
      $$p(x,z)=p(z)p(x|z)=p_z\cdot \mathcal{N}(x|{\mu }_z,{\Sigma }_z)\text{\hspace{1em}(11.3.2)}$$ $$p(z|x)=\frac{p(x,z)}{p(x)}=\frac{p_z\cdot \mathcal{N}(x|{\mu }_z,{\Sigma }_z)}{{\sum }_{k=1}^K{p}_k\cdot \mathcal{N}(x|{\mu }_k,{\Sigma }_k)}\text{\hspace{1em}(11.3.3)}$$

2. E-step
   $$\begin{array}{rl}Q(\theta ,{\theta }^{(t)})& ={\int }_Z\log P(X,Z|\theta )\cdot P(Z|X,{\theta }^{(t)})dZ\\ & =\sum _Z\log \prod _{i=1}^{N}P(x_i,z_i|\theta )\cdot \prod _{i=1}^{N}P(z_i|x_i,{\theta }^{(t)})\\ & =\sum _Z\sum _{i=1}^N\log P(x_i,z_i|\theta )\cdot \prod _{i=1}^{N}P(z_i|x_i,{\theta }^{(t)})\\ & =\sum _Z[\log P(x_1,z_1|\theta )+\log P(x_2,z_2|\theta )+\cdots +\log P(x_N,z_N|\theta )]\cdot \prod _{i=1}^{N}P(z_i|x_i,{\theta }^{(t)})\end{array}\text{\hspace{1em}(11.3.4)}$$

   拿连加中的第一项乘以后面的连乘来看：
   $$\begin{array}{rl}& \sum _{z_1,z_2,\cdots ,z_N}\log P(x_1,z_1|\theta )\cdot \prod _{i=1}^{N}P(z_i|x_i,{\theta }^{(t)})\\ =& \sum _{z_1,z_2,\cdots ,z_N}\log P(x_1,z_1|\theta )\cdot P(z_1|x_1,{\theta }^{(t)})\cdot \prod _{i=2}^{N}P(z_i|x_i,{\theta }^{(t)})(取出第一项)\\ =& \sum _{z_1}\log P(x_1,z_1|\theta )\cdot P(z_1|x_1,{\theta }^{(t)})\sum _{z_2,\cdots ,z_N}\prod _{i=2}^{N}P(z_i|x_i,{\theta }^{(t)})\\ =& \sum _{z_1}\log P(x_1,z_1|\theta )\cdot P(z_1|x_1,{\theta }^{(t)})\sum _{z_2}P(z_2|x_2,{\theta }^{(t)})\sum _{z_3}P(z_3|x_3,{\theta }^{(t)})\cdots \sum _{z_N}P(z_N|x_N,{\theta }^{(t)})\end{array}\text{\hspace{1em}(11.3.5)}$$
   由于${\sum }_{z_i}P(z_i|x_i,{\theta }^{(t)})=1$，因此，公式(11.3.5)可以简化为：
   $$\sum _{z_1,\cdots ,z_N}\log P(x_1,z_1|\theta )\cdot \prod _{i=1}^{N}P(z_i|x_i,{\theta }^{(t)})dZ=\sum _{z_1}\log P(x_1,z_1|\theta )\cdot P(z_1|x_1,{\theta }^{(t)}).\text{\hspace{1em}(11.3.6)}$$

   继续对$Q(\theta ,{\theta }^{(t)})$进行化简可以得到：
   $$\begin{array}{rl}Q(\theta ,{\theta }^{(t)})& =\sum _{z_1}logP(x_1,z_1|\theta )\cdot P(z_1|x_1,{\theta }^{(t)})+\cdots +\sum _{z_i}logP(x_i,z_i|\theta )\cdot P(z_i|x_i,{\theta }^{(t)})\\ & =\sum _{i=1}^N\sum _{z_i}logP(x_i,z_i|\theta )\cdot P(z_i|x_i,{\theta }^{(t)})\\ & =\sum _{i=1}^N\sum _{z_i}log[P_{z_i}\cdot \mathcal{N}(x_i|{\mu }_{z_i},{\Sigma }_{z_i})]\cdot \frac{P_{z_i}^{(t)}\cdot \mathcal{N}(x_i|{\mu }_{z_i}^{(t)},{\Sigma }_{z_i}^{(t)})}{{\sum }_{k=1}^K{P}_k^{(t)}\cdot \mathcal{N}(x_i|{\mu }_k^{(t)},{\Sigma }_k^{(t)})}(公式(11.3.2),(11.3.3))\end{array}\text{\hspace{1em}(11.3.7)}$$
   此处由$公式(11.3.3)$得，由于$(\frac{P_{z_i}^{(t)}\cdot N(x_i|{\mu }_{z_i}^{(t)},{\Sigma }_{z_i}^{(t)})}{{\sum }_{k=1}^K{P}_k^{(t)}\cdot N(x_i|{\mu }_k^{(t)},{\Sigma }_k^{(t)})})$与$\theta$无关，暂时写作$P(z_i|x_i,{\theta }^{(t)}))$ ，则：
   $$\begin{array}{rl}Q(\theta ,{\theta }^{(t)})& =\sum _{i=1}^N\sum _{z_i}log[P_{z_i}\cdot \mathcal{N}(x_i|{\mu }_{z_i},{\Sigma }_{z_i})]\cdot P(z_i|x_i,{\theta }^{(t)})(公式(11.3.2))\\ & =\sum _{z_i}\sum _{i=1}^{N}log[P_{z_i}\cdot \mathcal{N}(x_i|{\mu }_{z_i},{\Sigma }_{z_i})]\cdot P(z_i|x_i,{\theta }^{(t)})\\ & =\sum _{k=1}^K\sum _{i=1}^{N}log[P_k\cdot \mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)]\cdot P(z_i=C_k|x_i,{\theta }^{(t)})\\ & =\sum _{k=1}^K\sum _{i=1}^N[log{P}_k+log\mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)]\cdot P(z_i=C_k|x_i,{\theta }^{(t)})\end{array}\text{\hspace{1em}(11.3.8)}$$
   即：
   $$\begin{array}{rl}Q(\theta ,{\theta }^{(t)})& =\sum _{i=1}^N\sum _{z_i}log[P_{z_i}\cdot \mathcal{N}(x_i|{\mu }_{z_i},{\Sigma }_{z_i})]\cdot \frac{P_{z_i}^{(t)}\cdot \mathcal{N}(x_i|{\mu }_{z_i}^{(t)},{\Sigma }_{z_i}^{(t)})}{{\sum }_{k=1}^K{P}_k^{(t)}\cdot \mathcal{N}(x_i|{\mu }_k^{(t)},{\Sigma }_k^{(t)})}\\ & =\sum _{k=1}^K\sum _{i=1}^N[log{P}_k+log\mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)]\cdot P(z_i=C_k|x_i,{\theta }^{(t)})\end{array}\text{\hspace{1em}(11.3.9)}$$
   其中$K$是隐变量的维度，$N$是$ObservableVariable$的维度。

---

11.4 EM求解：M-Step

1. EM算法的迭代公式为：
   $${\theta }^{(t+1)}=\underset{\theta }{\mathrm{argmax}}Q(\theta ,{\theta }^{(t)})\text{\hspace{1em}(11.4.1)}$$
   我们需要求解的参数也就是， θ ( t + 1 ) = { P 1 ( t + 1 ) , ⋯   , P k ( t + 1 ) , μ 1 ( t + 1 ) , ⋯   , μ k ( t + 1 ) , Σ 1 ( t + 1 ) , ⋯   , Σ k ( t + 1 ) } \color{green}\theta^{(t+1)}=\{ P_1^{(t+1)}, \cdots, P_k^{(t+1)}, \mu_1^{(t+1)}, \cdots, \mu_k^{(t+1)},\Sigma_1^{(t+1)},\cdots,\Sigma_k^{(t+1)} \} θ(t+1)={P1(t+1)​,⋯,Pk(t+1)​,μ1(t+1)​,⋯,μk(t+1)​,Σ1(t+1)​,⋯,Σk(t+1)​}。

   • $X$：Observed data，$X=(x_1,x_2,\cdots ,x_N)$。
   • $(X,Z)$：Complete data， ( X , Z ) = { ( x 1 , z 1 ) , ( x 2 , z 2 ) , ⋯   , ( x N , z N ) } (X,Z) = \{ (x_1,z_1),(x_2,z_2),\cdots,(x_N,z_N) \} (X,Z)={(x1​,z1​),(x2​,z2​),⋯,(xN​,zN​)}。
   • $\theta$：parameter， θ = { P 1 , ⋯   , P k , μ 1 , ⋯   , μ k , Σ 1 , ⋯   , Σ k } \theta=\{ P_1, \cdots, P_k, \mu_1, \cdots, \mu_k,\Sigma_1,\cdots,\Sigma_k \} θ={P1​,⋯,Pk​,μ1​,⋯,μk​,Σ1​,⋯,Σk​}。

2. 求解$P_K^{(t+1)}$

• 首先，我们来展示一下怎么求解$P_k^{(t+1)}$（$P^{(t+1)}=(P_1^{(t+1)},P_2^{(t+1)},\cdots ,P_K^{(t+1)}{)}^T$）。
• 在等式(11.3.9)中${\sum }_{k=1}^K{\sum }_{i=1}^N\left(\log P_k+\log \mathcal{N}(x|{\mu }_k,{\Sigma }_k)\right)\cdot P(z_i=C_k|x_i,{\theta }^{(t)})$中的$\log \mathcal{N}(X|{\mu }_k,{\Sigma }_k)$部分和$P_k$并没有什么关系，可以被直接忽略掉。所以，求解问题可以被描述为：
  $$\{\begin{array}{l}\underset{p}{\max }\sum _{k=1}^K\sum _{i=1}^N\log P_k\cdot P(z_i=C_k|x_i,{\theta }^{(t)})\\ s.t.\sum _{k=1}^K{P}_k=1\end{array}\text{\hspace{1em}(11.4.2)}$$
  使用$拉格朗日乘子法$：
  $$L(p,\lambda )=\sum _{k=1}^K\sum _{i=1}^N\log P_k\cdot P(z_i=C_k|x_i,{\theta }^{(t)})+\lambda (\sum _{k=1}^K{P}_k-1)\text{\hspace{1em}(11.4.3)}$$
  对$p_k$求导，并令其为$0$：
  $$\begin{array}{rl}\frac{\partial \mathcal{L}(P,\lambda )}{\partial P_k}=& \sum _{i=1}^N\frac{1}{P_k}\cdot P(Z_i=C_k|X_i,{\theta }^{(t)})+\lambda =0\\ \Rightarrow & \sum _{i=1}^{N}P(Z_i=C_k|X_i,{\theta }^{(t)})+P_k\lambda =0\\ \stackrel{k=1,\cdots ,K}{⟹}& \sum _{i=1}^N\underset{1}{\underbrace{\sum _{k=1}^{K}P(Z_i=C_k|X_i,{\theta }^{(t)})}}+\underset{1}{\underbrace{\sum _{k=1}^K{P}_k}}\lambda =0\\ \Rightarrow & N+\lambda =0\end{array}\text{\hspace{1em}(11.4.4)}$$
  所以$\lambda =-N$，代入公式${\sum }_{i=1}^{N}P(z_i=C_k|x_{(i)},{\theta }^{(t)})+P_k^{(t+1)}\lambda =0$得：
  $$\begin{gathered} \sum _{i=1}^{N}P(z_{(i)}=C_k|x_i,{\theta }^{(t)})+P_k^{(t+1)}N=0 \\ \Rightarrow P_k^{(t+1)}=\frac{{\sum }_{i=1}^{N}P(z_i=C_k|x_i,{\theta }^{(t)})}{N}\text{\hspace{1em}(11.4.5)} \end{gathered}$$
  即：
  $$P_k^{(t+1)}=\frac{{\sum }_{i=1}^{N}P(z_i=C_k|x_i,{\theta }^{(t)})}{N}\text{\hspace{1em}(11.4.6)}$$
  至于$\theta$的其他部分，也就是关于 { μ 1 ( t + 1 ) , ⋯   , μ k ( t + 1 ) , Σ 1 ( t + 1 ) , ⋯   , Σ k ( t + 1 ) } \{ \mu_1^{(t+1)}, \cdots, \mu_k^{(t+1)},\Sigma_1^{(t+1)},\cdots,\Sigma_k^{(t+1)} \} {μ1(t+1)​,⋯,μk(t+1)​,Σ1(t+1)​,⋯,Σk(t+1)​}的计算，使用的方法也是一样的，这个问题就留给各位了。

---

总结

1. MLE与EM算法对比
   为什么极大似然估计搞不定的问题，放在EM算法里面我们就可以搞定了呢？我们来对比一下两个方法中，需要计算极值的公式。
   $$\begin{array}{ll}{\hat{\theta }}_{MLE}& =\underset{\theta }{\mathrm{argmax}}logp(X)\\ & =\underset{\theta }{\mathrm{argmax}}{\sum }_{i=1}^{N}log{\sum }_{k=1}^K{p}_k\cdot N(x_i|{\mu }_k,{\Sigma }_k)\end{array}\text{\hspace{1em}(11.5.1)}$$
   $${\theta }^{(t+1)}=\underset{\theta }{\mathrm{argmax}}\sum _{k=1}^K\sum _{i=1}^N\left(\log P_k+\log -\mathcal{N}(X_i|{\mu }_k,{\Sigma }_k)\right)\cdot P(Z_i=C_k|X_i,{\theta }^{(t)})\text{\hspace{1em}(11.5.2)}$$
   • 极大似然估计一开始计算的就是$P(X)$，而EM算法中并没有出现有关$P(X)$的计算，全程计算都是$P(X,Z)$。
   • 而$P(X)$实际上就是$P(X,Z)$的求和形式。
   • 所以，每次单独的考虑$P(X,Z)$就避免了在log函数中出现求和操作。
2. EM算法对GMM的一般步骤：
   • E(Expectation)-step：
     $$\begin{array}{rl}Q(\theta ,{\theta }^{(t)})& =\sum _{i=1}^N\sum _{z_i}log[P_{z_i}\cdot \mathcal{N}(x_i|{\mu }_{z_i},{\Sigma }_{z_i})]\cdot \frac{P_{z_i}^{(t)}\cdot \mathcal{N}(x_i|{\mu }_{z_i}^{(t)},{\Sigma }_{z_i}^{(t)})}{{\sum }_{k=1}^K{P}_k^{(t)}\cdot \mathcal{N}(x_i|{\mu }_k^{(t)},{\Sigma }_k^{(t)})}\\ & =\sum _{k=1}^K\sum _{i=1}^N[log{P}_k+log\mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)]\cdot P(z_i=C_k|x_i,{\theta }^{(t)})\end{array}\text{\hspace{1em}(11.5.3)}$$
   • M(Maximization)-step：
     $$P_k^{(t+1)}=\frac{{\sum }_{i=1}^{N}P(z_i=C_k|x_i,{\theta }^{(t)})}{N}\text{\hspace{1em}(11.5.4)}$$
     $${\mu }_k^{(t+1)}=\frac{{\sum }_{i=1}^N{P}_{x_i}P(z_i=C_k|x_i,{\theta }^{(t)})}{{\sum }_{i=1}^{N}P(z_i=C_k|x_i,{\theta }^{(t)})}\text{\hspace{1em}(11.5.5)}$$
     $${\Sigma }_k^{(t+1)}=\frac{{\sum }_{i=1}^N(P_{x_i}-{\mu }_k{)}^{2}P(z_i=C_k|x_i,{\theta }^{(t)})}{{\sum }_{i=1}^{N}P(z_i=C_k|x_i,{\theta }^{(t)})}\text{\hspace{1em}(11.5.6)}$$

   其中$K$是隐变量的维度，$N$是$ObservableVariable$的维度：

   • $X$：Observed data，$X=(x_1,x_2,\cdots ,x_N)$。
   • $(X,Z)$：Complete data， ( X , Z ) = { ( x 1 , z 1 ) , ( x 2 , z 2 ) , ⋯   , ( x N , z N ) } (X,Z) = \{ (x_1,z_1),(x_2,z_2),\cdots,(x_N,z_N) \} (X,Z)={(x1​,z1​),(x2​,z2​),⋯,(xN​,zN​)}。
   • $\theta$：parameter， θ = { P 1 , ⋯   , P k , μ 1 , ⋯   , μ k , Σ 1 , ⋯   , Σ k } \theta=\{ P_1, \cdots, P_k, \mu_1, \cdots, \mu_k,\Sigma_1,\cdots,\Sigma_k \} θ={P1​,⋯,Pk​,μ1​,⋯,μk​,Σ1​,⋯,Σk​}。

---

GMM代码实现

• 子程序代码：

function [u,sig,t,iter] = fit_mix_gaussian( X,M )
%
% fit_mix_gaussian - fit parameters for a mixed-gaussian distribution using EM algorithm
%
% format:   [u,sig,t,iter] = fit_mix_gaussian( X,M )
%
% input:    X   - input samples, Nx1 vector
%           M   - number of gaussians which are assumed to compose the distribution
%
% output:   u   - fitted mean for each gaussian
%           sig - fitted standard deviation for each gaussian
%           t   - probability of each gaussian in the complete distribution
%           iter- number of iterations done by the function
%
 
% initialize and initial guesses
N           = length( X );
Z           = ones(N,M) * 1/M;                  % indicators vector
P           = zeros(N,M);                       % probabilities vector for each sample and each model
t           = ones(1,M) * 1/M;                  % distribution of the gaussian models in the samples
u           = linspace(min(X),max(X),M);        % mean vector
sig2        = ones(1,M) * var(X) / sqrt(M);     % variance vector
C           = 1/sqrt(2*pi);                     % just a constant
Ic          = ones(N,1);                        % - enable a row replication by the * operator
Ir          = ones(1,M);                        % - enable a column replication by the * operator
Q           = zeros(N,M);                       % user variable to determine when we have converged to a steady solution
thresh      = 1e-3;
step        = N;
last_step   = inf;
iter        = 0;
min_iter    = 10;
 
% main convergence loop, assume gaussians are 1D
while ((( abs((step/last_step)-1) > thresh) & (step>(N*eps)) ) | (iter<min_iter) )
     
    % E step
    % ========
    Q   = Z;
    P   = C ./ (Ic*sqrt(sig2)) .* exp( -((X*Ir - Ic*u).^2)./(2*Ic*sig2) );
    for m = 1:M
        Z(:,m)  = (P(:,m)*t(m))./(P*t(:));
    end
         
    % estimate convergence step size and update iteration number
    prog_text   = sprintf(repmat( '\b',1,(iter>0)*12+ceil(log10(iter+1)) ));
    iter        = iter + 1;
    last_step   = step * (1 + eps) + eps;
    step        = sum(sum(abs(Q-Z)));
    fprintf( '%s%d iterations\n',prog_text,iter );
 
    % M step
    % ========
    Zm              = sum(Z);               % sum each column
    Zm(find(Zm==0)) = eps;                  % avoid devision by zero
    u               = (X')*Z ./ Zm;
    sig2            = sum(((X*Ir - Ic*u).^2).*Z) ./ Zm;
    t               = Zm/N;
end
sig     = sqrt( sig2 );

• 例子：

clc;clear all;close all;
set(0,'defaultfigurecolor','w')
x = [1*randn(100000,1)+3;3*randn(100000,1)-5];
%fitting
x       = x(:);                 % should be column vectors !
N       = length(x);
[u,sig,t,iter] = fit_mix_gaussian( x,2 );
sig = sig.^2;
%Plot
figure;
%Bar
subplot 221
plot(x(randperm(N)),'k');grid on;
xlim([0,N]);
subplot 222
numter = [-15:.2:10];
[histFreq, histXout] = hist(x, numter);
binWidth = histXout(2)-histXout(1);
bar(histXout, histFreq/binWidth/sum(histFreq)); hold on;grid on;
%Fitting plot
subplot 223
y = t(2)*1/sqrt(2*pi*sig(2))*exp(-(numter-u(2)).^2/2/sig(2));
plot(numter,y,'r','linewidth',2);grid on;
hold on;
y = t(1)*1/sqrt(2*pi*sig(1))*exp(-(numter-u(1)).^2/2/sig(1));
plot(numter,y,'g','linewidth',2);grid on;
 
%Fitting result
subplot 224
bar(histXout, histFreq/binWidth/sum(histFreq)); hold on;grid on;
y = t(2)*1/sqrt(2*pi*sig(2))*exp(-(numter-u(2)).^2/2/sig(2));
plot(numter,y,'r','linewidth',2);grid on;
hold on;
y = t(1)*1/sqrt(2*pi*sig(1))*exp(-(numter-u(1)).^2/2/sig(1));
plot(numter,y,'g','linewidth',2);grid on;

• 结果