GMM高斯混合模型

前言

在分析数据集时，我们经常做出简化建模的假设，例如假设所有的样本都来自一个特定的分布（例如，高斯分布）。然后我们继续使用极大似然估计来估计这个分布的参数(比如均值和方差)。然而，在许多情况下，假设所有样本都来自相同的一个分布，限制性太强，因为通常我们试图建模的数据来源更复杂。这里介绍一种由多个高斯分布分量混合而成的数据生成模型——高斯混合模型，并介绍求解该模型的方法。

混合模型

混合模型的一个例子

假设我们现在想在电商网站上买一本书，那我们就希望先估算一下我们买这本书的成本。通常一本书都会有平装版本和精装版本在售，而且精装版的书往往也会比平装版的书要贵上许多。因此，如果我们想要对书的价格进行估计，使用单一的分布对这本书的价格进行建模可能对于价格的估计是不太合理的，而将平装书与精装书的价格分开建模可能更有意义。

在这个例子中，我们将一本书的价格建模为一个混合模型。 我们的模型中有两种混合成分——一个用于平装书价格分布，一个用于精装本价格分布。假设我们随机选择一本书，有 50% 的机会选择平装本，50% 的机会选择精装本。 这些比例称为混合比例，也可以称为每一种分布被选择的概率或权重。

混合模型的定义

假设有$N$个样本 X = { x 1 , x 2 , ⋯ ， x N } X=\{x_1,x_2,\cdots，x_N\} X={x1​,x2​,⋯，xN​}，而每一个样本$x_i(i=1,2,\cdots ,N)$都是从$K$个分布中的一个采样得到的。每个样本$x_i$有一个对应 z i ∈ { 1 , 2 , ⋯   , K } z_i\in\{1,2,\cdots,K\} zi​∈{1,2,⋯,K}用于标记$x_i$是来自哪一个分布分量的，令 Z = { z 1 , z 2 , ⋯   , z N } Z=\{z_1,z_2,\cdots,z_N\} Z={z1​,z2​,⋯,zN​}，其中 { X , Z } \{X,Z\} {X,Z}称为完整数据。然而通常情况下，我们有的只是样本数据$X$(不完整数据)，而$Z$我们没法观测得到，即不知道数据是从哪个分布采样得到的。在混合模型中，$Z$称为隐变量，隐变量$z_i$对应的是第$i$个分布分量，一般是离散数据。

由联合概率可知，$x_i$ 的边缘概率为：
$$\begin{array}{rl}p(x_i)& =\sum _{z}p(x_i,z)\\ & =\sum _{k=1}^{K}p(x_i|z_i=k)\underset{{\alpha }_k}{\underbrace{p(z_i=k)}}\\ & =\sum _{k=1}^{K}p(x_i|z_i=k){\alpha }_k\end{array}$$
其中，${\alpha }_k\in ({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_K)$称为混合比例或混合权重，表示$x_i$ 属于第$k$个混合分量的概率，它是非负的，而且${\sum }_{k=1}^K{\alpha }_k=1$。$p(x_i|z_i=k)$称为混合分布分量，它表示样本$x_i$ 来自的分布是第$k$个分量分布。

GMM高斯混合模型

高斯混合模型(GMM)其实就是$K$ 个高斯分布分量构成的一个混合模型。假设有$N$个相互独立的样本数据 X = { x 1 , x 2 , ⋯ ， x N } X=\{x_1,x_2,\cdots，x_N\} X={x1​,x2​,⋯，xN​}，其中$x_i\in R^n$。用$N(x_i;{\mu }_k,{\Sigma }_k)$代表数据$x_i$来自第$k$个高斯分布，其密度函数表示为：
$$N(x_i;{\mu }_k,{\Sigma }_k)=\frac{1}{(2\pi {)}^{\frac{n}{2}}|\Sigma {|}^{\frac{1}{2}}}exp(-\frac{1}{2}(x_i-{\mu }_k{)}^T{\Sigma }_k^{-1}(x_i-{\mu }_k))$$
根据混合模型的定义，我们可以得到$x_i$ 边缘概率函数为：
$$\begin{array}{rl}p(x_i|\Theta )& =\sum _{z}p(x_i,z|\Theta )\\ & =\sum _{h=1}^{K}p(z=h|\Theta )p(x_i|z=h;\Theta )\\ & =\sum _{h=1}^K{\alpha }_{h}N(x_i;{\mu }_h,{\Sigma }_h)\end{array}$$
要注意的是，这$K$个高斯分布每个都有独立的参数(均值和协方差矩阵)，而且每个样本数据由这$K$个分布生成的概率为${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_K$，这也是未知的，它们也是构成这整个高斯混合模型参数的一部分。所以整个高斯模型的参数可以定义为：
Θ = { μ 1 , μ 2 , ⋯   , μ K , Σ 1 , Σ 2 , ⋯   , Σ K , α 1 , α 2 , ⋯   , α K } \Theta = \{\mu_1,\mu_2,\cdots,\mu_K,\Sigma_1,\Sigma_2,\cdots,\Sigma_K,\alpha_1,\alpha_2,\cdots,\alpha_K \} Θ={μ1​,μ2​,⋯,μK​,Σ1​,Σ2​,⋯,ΣK​,α1​,α2​,⋯,αK​}
高斯混合模型的生成模型可以表示如下图：

对于模型的参数估计，我们通常使用的方法是通过计算极大似然估计函数。

极大似然估计

单高斯模型的极大似然估计

以一维单高斯分布为例求解参数$\mu$估计。假设有$N$个样本 X = { x 1 , x 2 , ⋯ ， x N } X=\{x_1,x_2,\cdots，x_N\} X={x1​,x2​,⋯，xN​}是从一个参数 θ = { μ , σ 2 } \theta=\{\mu,\sigma^2\} θ={μ,σ2}未知的一维单高斯分布采样得到的。为了找到$\mu$的极大似然估计，我们求得对数似然$L(\theta )$，对$\mu$求偏导，令其为零，然后求解$\mu$：
$$\begin{array}{rl}L(\theta )& =ln[\prod _{i=1}^N\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x_i-\mu {)}^2}{2{\sigma }^2})]\\ & =\sum _{i=1}^N[ln\frac{1}{\sqrt{2\pi }\sigma }-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}]\\ & \\ \frac{\partial L(\theta )}{\partial \mu }& =\sum _{i=1}^N\frac{x_i-\mu }{{\sigma }^2}=0\\ & \\ {\mu }_{MLE}& =\frac{1}{N}\sum _{i=1}^N{x}_i\end{array}$$

将对数函数应用于似然函数有助于我们分解乘积并移除指数函数，以便我们可以轻松求解$MLE$。

高斯混合模型的极大似然估计

现在我们尝试来推导高斯混合模型的极大似然估计求解参数$\mu$。假设有$N$个样本 X = { x 1 , x 2 , ⋯ ， x N } X=\{x_1,x_2,\cdots，x_N\} X={x1​,x2​,⋯，xN​}是从由$K$个一维高斯分布混合而成高斯混合模型采样得到的，现在的未知参数 Θ = { μ 1 , ⋯   , μ K , σ 1 , ⋯   , σ K , α 1 , ⋯   , α K } \Theta=\{\mu_1,\cdots,\mu_K,\sigma_1,\cdots,\sigma_K,\alpha_1,\cdots,\alpha_K\} Θ={μ1​,⋯,μK​,σ1​,⋯,σK​,α1​,⋯,αK​}。那对数似然函数：
$$\begin{array}{rl}lnL(\Theta )& =ln[\prod _{i=1}^N\sum _{z}p(x,z|\Theta )]\\ & =\sum _{i=1}^{N}ln[\sum _{h=1}^{K}p(z_i=h|\Theta )p(x_i|z_i=h;\Theta )]\\ & =\sum _{i=1}^{N}ln[\sum _{h=1}^K{\alpha }_{h}N(x_i;{\mu }_h,{\sigma }_h^2)]\end{array}$$
看一下上面的表达式，我们可以看到高斯混合模型与单高斯分布的极大似然估计之间的区别。 这里的$K$个分布分量的相加“阻止”了对数函数的进一步处理。 如果我们按照求单高斯分布的极大似然估计相同的步骤对${\mu }_k$ 进行求导，并将求导后的表达式设置为零，我们将得到：
$$\begin{array}{rl}\frac{\partial lnL(\theta )}{\partial {\mu }_k}& =\frac{\partial [{\sum }_{i=1}^{N}ln({\sum }_{h=1}^K{\alpha }_{h}N(x_i;{\mu }_h,{\sigma }_h^2))]}{\partial {\mu }_k}\\ & =\sum _{i=1}^N\frac{{\alpha }_{k}N(x_i;{\mu }_k,{\sigma }_k^2)}{{\sum }_{h=1}^K{\alpha }_{h}N(x_i;{\mu }_h,{\sigma }_h^2)}\frac{(x_i-{\mu }_k)}{{\sigma }_k^2}=0\end{array}$$

现在我们很难继续下去了，因为根据现有的等式我们无法解析求解${\mu }_k$。 那么怎么办呢？

细想一下，高斯混合模型和单高斯模型的主要区别在于隐变量的存在，即我们不知道哪些数据是由哪个高斯生成的。

1 那我们能不能尝试先假设模型的所有参数，然后根据这些参数把所有的样本数据依次分配到与隐变量分布分量锲合度最高的分布分量中去。

2 再根据这些分到不同的分布分量的样本数据，按照极大似然估计法估计一下这些分布分量的参数，看估计出来的参数和我们预先假设的参数的差异。

如果估计出来的参数和我们预先假设的参数的差异比较小，那说明我们假设的参数是相当靠谱的估计。如果估计出来的参数和我们预先假设的参数的差异比较大，那我们就用新估计出来的参数作为新的假设的参数再次进行上面的1,2步骤，直至收敛。

我们可以先尝试根据样本数据计算一下$z_i=k$的后验概率：
$$\begin{array}{rl}p(z_i=k|x_i)& =\frac{p(x_i|z_i=k)p(z_i=k)}{p(x_i)}\\ & =\frac{{\alpha }_{k}N(x_i;{\mu }_k,{\sigma }_k^2)}{{\sum }_{h=1}^K{\alpha }_{h}N(x_i;{\mu }_h,{\sigma }_h^2)}={{\rm Y}}_{z_i}(k)\end{array}$$
根据每个样本的后验概率，我们就可以把所有的样本在不同分布分量下概率的大小进行分类了。

然后，我们再通过不同分布分量下的所有样本，采用极大似然参数估计法，对该分布分量进行参数估计。
$$\begin{array}{rl}lnL(\Theta )& =ln[\prod _{i=1}^{m}p(x_i|z_i=k,\Theta )]\\ & =\sum _{i=1}^{m}ln[p(x_i|z_i=k,\Theta )]\end{array}$$
在真实求解高斯模型中，使用的$EM$算法核心其实和上面得到的两个求解步骤的思想相似，它的步骤可以大概描述如下(这仅仅是一种思想的描述，和实际上的$EM$算法求解公式不同)：

1. 对于模型的所有参数$\Theta$给于一个初始值 { μ 1 0 , μ 2 0 , ⋯   , μ K 0 , Σ 1 0 , Σ 2 0 , ⋯   , Σ K 0 , α 1 0 , α 2 0 , ⋯   , α K 0 } \{\mu_1^0,\mu_2^0,\cdots,\mu_K^0,\Sigma_1^0,\Sigma_2^0,\cdots,\Sigma_K^0,\alpha_1^0,\alpha_2^0,\cdots,\alpha_K^0\} {μ10​,μ20​,⋯,μK0​,Σ10​,Σ20​,⋯,ΣK0​,α10​,α20​,⋯,αK0​}

2. E-step：根据已有的参数值计算隐变量的后验概率${{\rm Y}}_{z_i}(k)$

3. M-step：根据隐变量的后验概率${{\rm Y}}_{z_i}(k)$，对模型的似然函数进行计算，找到最大化极大似然函数的参数 { μ 1 t , μ 2 t , ⋯   , μ K t , Σ 1 t , Σ 2 t , ⋯   , Σ K t , α 1 t , α 2 t , ⋯   , α K t } \{\mu_1^t,\mu_2^t,\cdots,\mu_K^t,\Sigma_1^t,\Sigma_2^t,\cdots,\Sigma_K^t,\alpha_1^t,\alpha_2^t,\cdots,\alpha_K^t\} {μ1t​,μ2t​,⋯,μKt​,Σ1t​,Σ2t​,⋯,ΣKt​,α1t​,α2t​,⋯,αKt​}。

4. 以第3步得到的新的参数值作为第2步的参数，重复第2步和第3步直到模型估计的所有参数收敛。

EM算法求解高斯混合模型

EM算法简述

$EM$算法通过E-Step和M-Step迭代交替求解高斯混合模型极大似然参数估计问题。$EM$算法整个求解的过程中都是在更新参数$\Theta$，使之收敛到一个局部极大值。

在E-step中，使用第$t$次迭代的已知参数${\Theta }^t$(一开始初始化的$\Theta$或者由M-step计算出来的$\Theta$)来计算隐变量的后验概率分布$p(Z|X,{\Theta }^t)$(相当于前面提到的后验概率${{\rm Y}}_{z_i}(k)$)，然后利用这个分布，计算完整数据的对数似然函数在这个分布下的期望表达式$Q(\Theta ,{\Theta }^t)$：
$$Q(\Theta ,{\Theta }^t)={\int }_z[lnp(X,Z|\Theta )]p(Z|X,{\Theta }^t)dz$$
在M-step，通过最大化$Q(\Theta ,{\Theta }^t)$获得新的估计参数。
$${\Theta }^{t+1}=\underset{\Theta }{\mathrm{argmax}}Q(\Theta ,{\Theta }^t)$$

推导GMM的EM算法

E-step的推导

对于GMM模型下的E-step的推导，即要推导出第$t$次迭代的$Q(\Theta ,{\Theta }^t)$函数表达式。假设随机样本 X = { x 1 , x 2 , ⋯   , x N } X=\{x_1,x_2,\cdots,x_N\} X={x1​,x2​,⋯,xN​}为模型中的观测变量，其中$x_i\in R^n$， Z = { z 1 , z 2 , ⋯   , z N } Z=\{z_1,z_2,\cdots,z_N\} Z={z1​,z2​,⋯,zN​}为模型中的隐变量， z i ∈ { 1 , 2 , ⋯   , K } z_i\in\{1,2,\cdots,K\} zi​∈{1,2,⋯,K}。每个样本数据由这$K$个分布生成的概率为${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_K$。 对于$Q(\Theta ,{\Theta }^t)$函数推导为：

$$\begin{array}{rl}Q(\Theta ,{\Theta }^t)& ={\int }_z[lnp(X,Z|\Theta )]p(Z|X,{\Theta }^t)dz(x_i,z_i)相互独立，x_i相互独立，z_i相互独立\\ & ={\int }_z[\sum _{i=1}^{N}lnp(x_i,z_i|\Theta )][\prod _{i=1}^{N}p(z_i|x_i,{\Theta }^t)]dz\\ & =\underset{N}{\underbrace{\sum _{z_1=1}^K\sum _{z_2=1}^K\cdots \sum _{z_N=1}^K}}[\sum _{i=1}^{N}lnp(x_i,z_i|\Theta )][\prod _{i=1}^{N}p(z_i|x_i,{\Theta }^t)]\\ & =\underset{N}{\underbrace{\sum _{z_1=1}^K\sum _{z_2=1}^K\cdots \sum _{z_N=1}^K}}[\underset{第一项}{\underbrace{lnp(x_1,z_1|\Theta )}}+\cdots +lnp(x_N,z_N|\Theta )][p(z_1|x_1,{\Theta }^t)\cdots p(z_N|x_N,{\Theta }^t)]\end{array}$$
现在这个形式非常的复杂，我们提取第一项来分析
$$\begin{array}{rl}第一项& =\sum _{z_1=1}^K\sum _{z_2=1}^K\cdots \sum _{z_N=1}^{K}lnp(x_1,z_1|\Theta )[p(z_1|x_1,{\Theta }^t)\cdots p(z_N|x_N,{\Theta }^t)]\\ & =\sum _{z_1=1}^{K}lnp(x_1,z_1|\Theta )p(z_1|x_1,{\Theta }^t)\underset{1}{\underbrace{\sum _{z_2=1}^{K}p(z_2|x_2,{\Theta }^t)}}\underset{1}{\underbrace{\sum _{z_3=1}^{K}p(z_3|x_3,{\Theta }^t)}}\cdots \underset{1}{\underbrace{\sum _{z_N=1}^{K}p(z_N|x_N,{\Theta }^t)}}\\ & =\sum _{z_1=1}^{K}lnp(x_1,z_1|\Theta )p(z_1|x_1,{\Theta }^t)\end{array}$$
根据${\sum }_{z_i=1}^{K}p(z_i|x_i,{\Theta }^t)={\sum }_{k=1}^{K}p(z_i=k|x_i,{\Theta }^t)=1$。这里相当于把这个后验分布的所有可能的概率相加，其结果一定是1。

则$Q(\Theta ,{\Theta }^t)$可以简化为：
$$\begin{array}{rl}Q(\Theta ,{\Theta }^t)& =\sum _{z_1=1}^{K}lnp(x_1,z_1|\Theta )p(z_1|x_1,{\Theta }^t)+\cdots \sum _{z_N=1}^{K}lnp(x_N,z_N|\Theta )p(z_N|x_N,{\Theta }^t)\\ & =\sum _{i=1}^N\sum _{k=1}^{K}lnp(x_i,z_i=k|\Theta )p(z_i=k|x_i,{\Theta }^t)\\ & =\sum _{i=1}^N\sum _{k=1}^{K}ln[p(z_i=k)p(x_i|z_i=k,\Theta )]p(z_i=k|x_i,{\Theta }^t)\\ & =\sum _{i=1}^N\sum _{k=1}^{K}ln[{\alpha }_{k}N(x_i|{\mu }_k,{\Sigma }_k)]p(z_i=k|x_i,{\Theta }^t)\\ & =\sum _{i=1}^N\sum _{k=1}^{K}ln({\alpha }_{k}N(x_i|{\mu }_k,{\Sigma }_k))\frac{p(x_i,z_i=k|{\Theta }^t)}{p(x_i|{\Theta }^t)}\\ & =\sum _{i=1}^N\sum _{k=1}^{K}ln({\alpha }_{k}N(x_i|{\mu }_k,{\Sigma }_k))\frac{p(x_i|z_i=k,{\Theta }^t)p(z_i=k|{\Theta }^t)}{p(x_i|{\Theta }^t)}\\ & =\sum _{i=1}^N\sum _{k=1}^{K}ln({\alpha }_{k}N(x_i|{\mu }_k,{\Sigma }_k))\frac{{\alpha }_k^{t}N(x_i|{\mu }_k^t,{\Sigma }_k^t)}{{\sum }_{h=1}^K{\alpha }_h^{t}N(x_i|{\mu }_h^t,{\Sigma }_h^t)}\\ & =\sum _{i=1}^N\sum _{k=1}^K{{\rm Y}}_{k,i}^{t}ln({\alpha }_{k}N(x_i|{\mu }_k,{\Sigma }_k))\\ & =\sum _{i=1}^N\sum _{k=1}^K{{\rm Y}}_{k,i}^t[ln{\alpha }_k+lnN(x_i|{\mu }_k,{\Sigma }_k)]\end{array}$$
其中
$${{\rm Y}}_{k,i}^t=\frac{{\alpha }_k^{t}N(x_i|{\mu }_k^t,{\Sigma }_k^t)}{{\sum }_{h=1}^K{\alpha }_h^{t}N(x_i|{\mu }_h^t,{\Sigma }_h^t)}$$

M-step的推导

M-step就是通过最大化$Q(\Theta ,{\Theta }^t)$得到${\Theta }^{t+1}$，下面分三步分别求出$\alpha ,\mu ,\Sigma$在${\Theta }^{t+1}$的表达式。

一，首先求解$\Theta$参数中的${\alpha }_k$， k = { 1 , 2 , ⋯   , K } k=\{1,2,\cdots,K\} k={1,2,⋯,K}，而${\alpha }_1,\dots ,{\alpha }_K$ 代表的是样本点从每个高斯分布中采样得到的概率，有${\sum }_{k=1}^K{\alpha }_k=1$ 。求解$\Theta$参数中的${\alpha }_k$是一个有约束的优化问题，这个优化问题可表述为：
$$\begin{gathered} {\Theta }^{t+1}=\underset{\Theta }{\mathrm{argmax}}Q(\Theta ,{\Theta }^t) \\ s.t.\sum _{k=1}^K{\alpha }_k=1 \end{gathered}$$
由于等式约束，因此可以使用拉格朗日乘子解决此优化问题。 定义拉格朗日函数为：
$$\begin{array}{rl}F(\Theta ,\lambda )& =\sum _{i=1}^N\sum _{k=1}^K{{\rm Y}}_{k,i}^t[ln{\alpha }_k+lnN(x_i|{\mu }_k,{\Sigma }_k)]+\lambda (\sum _{k=1}^K{\alpha }_k-1)\\ & =\sum _{i=1}^N\sum _{k=1}^K{{\rm Y}}_{k,i}^{t}ln({\alpha }_k)+\sum _{i=1}^N\sum _{k=1}^K{{\rm Y}}_{k,i}^{t}ln(N(x_i|{\mu }_k,{\Sigma }_k))+\lambda \sum _{k=1}^K{\alpha }_k-\lambda \end{array}$$
对${\alpha }_k$求偏导，并令$\frac{\partial F(\Theta ,\lambda )}{\partial {\alpha }_k}=0$有：
$$\begin{array}{rl}\frac{\partial F(\Theta ,\lambda )}{\partial {\alpha }_k}& =\frac{1}{{\alpha }_k}\sum _{i=1}^N{{\rm Y}}_{k,i}^t+\lambda =0\\ ⟹{\alpha }_k& =-\frac{1}{\lambda }\sum _{i=1}^N{{\rm Y}}_{k,i}^t\end{array}$$
又由于有约束条件${\sum }_{h=1}^K{\alpha }_h=1$，则
$$\begin{array}{rl}1& =\sum _{k=1}^K-\frac{1}{\lambda }\sum _{i=1}^N{{\rm Y}}_{k,i}^t\\ ⟹\lambda & =-\sum _{k=1}^K\sum _{i=1}^N{{\rm Y}}_{k,i}^t=-\sum _{i=1}^N\sum _{k=1}^K{{\rm Y}}_{k,i}^t\\ ⟹\lambda & =-N\because \sum _{k=1}^K{{\rm Y}}_{k,i}^t=1\\ ⟹{\alpha }_k& =\frac{1}{N}\sum _{i=1}^N{{\rm Y}}_{k,i}^t\end{array}$$
二，求解$\Theta$参数中高斯分布的均值${\mu }_k$， k = { 1 , 2 , ⋯   , K } k=\{1,2,\cdots,K\} k={1,2,⋯,K}。${\mu }_k$极值可以用$Q(\Theta ,{\Theta }^t)$直接对${\mu }_k$求偏导并令其为0求得。但这里要注意的是，由于$x_i\in R^n$，所以${\mu }_k\in R^n$，所以这里不是对一个常量求导，而是对一个向量求导(参考网址[4]中有详细的说明)。
∂ Q ( Θ , Θ t ) ∂ μ k = ∂ [ ∑ i = 1 N ∑ k = 1 K Υ k , i t l n    N ( x i ∣ μ k , Σ k ) ] ∂ μ k = ∑ i = 1 N Υ k , i t ∂ [ l n    N ( x i ∣ μ k , Σ k ) ] ∂ μ k = ∑ i = 1 N Υ k , i t ∂ l n    { 1 ( 2 π ) n 2 ∣ Σ k ∣ 1 2 e x p [ − 1 2 ( x i − μ k ) T Σ k − 1 ( x i − μ k ) ] } ∂ μ k = ∑ i = 1 N Υ k , i t Σ k − 1 ( x i − μ k ) ( 参 考 网 址 [ 4 ] 中 有 详 细 的 说 明 ) \large \begin{aligned} \frac{\partial Q(\Theta,\Theta^t)}{\partial \mu_k} &=\frac{\partial[\sum_{i=1}^N\sum_{k=1}^K\Upsilon_{k,i}^tln\;N(x_i|\mu_k,\Sigma_k)]}{\partial \mu_k}\\ &= \sum_{i=1}^N\Upsilon_{k,i}^t\frac{\partial[ln\;N(x_i|\mu_k,\Sigma_k)]}{\partial \mu_k}\\ &=\sum_{i=1}^N\Upsilon_{k,i}^t\frac{\partial ln\;\{\frac{1}{(2\pi)^\frac{n}{2}|\Sigma_k|^\frac{1}{2}}exp[-\frac{1}{2}(x_i-\mu_k)^T\Sigma^{-1}_k(x_i-\mu_k)]\}}{\partial \mu_k}\\ &= \sum_{i=1}^N\Upsilon_{k,i}^t\Sigma^{-1}_k(x_i-\mu_k) \qquad(参考网址[4]中有详细的说明) \end{aligned} ∂μk​∂Q(Θ,Θt)​​=∂μk​∂[∑i=1N​∑k=1K​Υk,it​lnN(xi​∣μk​,Σk​)]​=i=1∑N​Υk,it​∂μk​∂[lnN(xi​∣μk​,Σk​)]​=i=1∑N​Υk,it​∂μk​∂ln{(2π)2n​∣Σk​∣21​1​exp[−21​(xi​−μk​)TΣk−1​(xi​−μk​)]}​=i=1∑N​Υk,it​Σk−1​(xi​−μk​)(参考网址[4]中有详细的说明)​

令$\frac{\partial Q(\Theta ,{\Theta }^t)}{\partial {\mu }_k}=0$有：
$$\begin{array}{rl}0& =\sum _{i=1}^N{{\rm Y}}_{k,i}^t{\Sigma }_k^{-1}(x_i-{\mu }_k)\\ ⟹0& ={\Sigma }_k^{-1}\sum _{i=1}^N{{\rm Y}}_{k,i}^t(x_i-{\mu }_k)\\ ⟹{\Sigma }_{k}0& ={\Sigma }_k{\Sigma }_k^{-1}\sum _{i=1}^N{{\rm Y}}_{k,i}^t(x_i-{\mu }_k)\\ ⟹0& =\sum _{i=1}^N{{\rm Y}}_{k,i}^t(x_i-{\mu }_k)\\ ⟹{\mu }_k& =\frac{1}{{\sum }_{i=1}^N{{\rm Y}}_{k,i}^t}\sum _{i=1}^N{{\rm Y}}_{k,i}^t{x}_i\end{array}$$
三，求解$\Theta$参数中高斯分布的协方差矩阵${\Sigma }_k$， k = { 1 , 2 , ⋯   , K } k=\{1,2,\cdots,K\} k={1,2,⋯,K}。${\Sigma }_k$极值可以用$Q(\Theta ,{\Theta }^t)$直接对${\Sigma }_k$求偏导。但这里要注意的是，由于$x_i\in R^n$，所以${\Sigma }_k\in R^{n\times n}$，所以这里不是对一个常量求导，而是对一个矩阵求导(参考网址[4]中有详细的说明)。
∂ Q ( Θ , Θ t ) ∂ Σ k = ∂ [ ∑ i = 1 N ∑ k = 1 K Υ k , i t l n    N ( x i ∣ μ k , Σ k ) ] ∂ Σ k = ∑ i = 1 N Υ k , i t ∂ [ l n    N ( x i ∣ μ k , Σ k ) ] ∂ Σ k = ∑ i = 1 N Υ k , i t ∂ l n    { 1 ( 2 π ) n 2 ∣ Σ k ∣ 1 2 e x p [ − 1 2 ( x i − μ k ) T Σ k − 1 ( x i − μ k ) ] } ∂ Σ k = ∑ i = 1 N Υ k , i t ∂ [ − n 2 l n ( 2 π ) − 1 2 l n ∣ Σ k ∣ − 1 2 ( x i − μ k ) T Σ k − 1 ( x i − μ k ) ] ∂ Σ k = ∑ i = 1 N Υ k , i t { − 1 2 ∂ ( l n ∣ Σ k ∣ ) ∂ Σ k − 1 2 ∂ [ ( x i − μ k ) T Σ k − 1 ( x i − μ k ) ] ∂ Σ k } = ∑ i = 1 N Υ k , i t { − 1 2 Σ k − 1 + 1 2 Σ k − 1 [ ( x i − μ k ) ( x i − μ k ) T ] Σ k − 1 } \large \begin{aligned} \frac{\partial Q(\Theta,\Theta^t)}{\partial \Sigma_k} &=\frac{\partial[\sum_{i=1}^N\sum_{k=1}^K\Upsilon_{k,i}^tln\;N(x_i|\mu_k,\Sigma_k)]}{\partial \Sigma_k}\\ &= \sum_{i=1}^N\Upsilon_{k,i}^t\frac{\partial[ln\;N(x_i|\mu_k,\Sigma_k)]}{\partial \Sigma_k}\\ &=\sum_{i=1}^N\Upsilon_{k,i}^t\frac{\partial ln\;\{\frac{1}{(2\pi)^\frac{n}{2}|\Sigma_k|^\frac{1}{2}}exp[-\frac{1}{2}(x_i-\mu_k)^T\Sigma^{-1}_k(x_i-\mu_k)]\}}{\partial \Sigma_k}\\ &=\sum_{i=1}^N\Upsilon_{k,i}^t\frac{\partial[-\frac{n}{2}ln(2\pi) - \frac{1}{2}ln|\Sigma_k| - \frac{1}{2}(x_i-\mu_k)^T\Sigma^{-1}_k(x_i-\mu_k)]}{\partial \Sigma_k} \\ &=\sum_{i=1}^N\Upsilon_{k,i}^t \{-\frac{1}{2}\frac{\partial(ln|\Sigma_k|)}{\partial \Sigma_k} - \frac{1}{2}\frac{\partial[(x_i-\mu_k)^T\Sigma^{-1}_k(x_i-\mu_k)]}{\partial \Sigma_k}\}\\ &= \sum_{i=1}^N\Upsilon_{k,i}^t \{-\frac{1}{2}\Sigma^{-1}_k + \frac{1}{2}\Sigma^{-1}_k[ (x_i-\mu_k)(x_i-\mu_k)^T] \Sigma^{-1}_k\} \end{aligned} ∂Σk​∂Q(Θ,Θt)​​=∂Σk​∂[∑i=1N​∑k=1K​Υk,it​lnN(xi​∣μk​,Σk​)]​=i=1∑N​Υk,it​∂Σk​∂[lnN(xi​∣μk​,Σk​)]​=i=1∑N​Υk,it​∂Σk​∂ln{(2π)2n​∣Σk​∣21​1​exp[−21​(xi​−μk​)TΣk−1​(xi​−μk​)]}​=i=1∑N​Υk,it​∂Σk​∂[−2n​ln(2π)−21​ln∣Σk​∣−21​(xi​−μk​)TΣk−1​(xi​−μk​)]​=i=1∑N​Υk,it​{−21​∂Σk​∂(ln∣Σk​∣)​−21​∂Σk​∂[(xi​−μk​)TΣk−1​(xi​−μk​)]​}=i=1∑N​Υk,it​{−21​Σk−1​+21​Σk−1​[(xi​−μk​)(xi​−μk​)T]Σk−1​}​
令$\frac{\partial Q(\Theta ,{\Theta }^t)}{\partial {\Sigma }_k}=0$，则有：
0 = ∑ i = 1 N Υ k , i t { − 1 2 Σ k − 1 + 1 2 Σ k − 1 [ ( x i − μ k ) ( x i − μ k ) T ] Σ k − 1 } 0 = − 1 2 ∑ i = 1 N Υ k , i t Σ k − 1 + 1 2 ∑ i = 1 N Υ k , i t Σ k − 1 [ ( x i − μ k ) ( x i − μ k ) T ] Σ k − 1 ∑ i = 1 N Υ k , i t Σ k − 1 = Σ k − 1 ∑ i = 1 N Υ k , i t [ ( x i − μ k ) ( x i − μ k ) T ] Σ k − 1 Σ k ∑ i = 1 N Υ k , i t = ∑ i = 1 N Υ k , i t [ ( x i − μ k ) ( x i − μ k ) T ] ⟹ Σ k = 1 ∑ i = 1 N Υ k , i t ∑ i = 1 N Υ k , i t [ ( x i − μ k ) ( x i − μ k ) T ] \large \begin{aligned} 0 &= \sum_{i=1}^N\Upsilon_{k,i}^t \{-\frac{1}{2}\Sigma^{-1}_k + \frac{1}{2}\Sigma^{-1}_k[ (x_i-\mu_k)(x_i-\mu_k)^T] \Sigma^{-1}_k\}\\ 0 &= -\frac{1}{2}\sum_{i=1}^N\Upsilon_{k,i}^t \Sigma^{-1}_k + \frac{1}{2}\sum_{i=1}^N\Upsilon_{k,i}^t\Sigma^{-1}_k[ (x_i-\mu_k)(x_i-\mu_k)^T] \Sigma^{-1}_k\\ \sum_{i=1}^N\Upsilon_{k,i}^t \Sigma^{-1}_k &= \Sigma^{-1}_k\sum_{i=1}^N\Upsilon_{k,i}^t[ (x_i-\mu_k)(x_i-\mu_k)^T] \Sigma^{-1}_k\\ \Sigma_k \sum_{i=1}^N\Upsilon_{k,i}^t &= \sum_{i=1}^N\Upsilon_{k,i}^t[ (x_i-\mu_k)(x_i-\mu_k)^T] \\ \Longrightarrow \quad \Sigma_k&=\frac{1}{\sum_{i=1}^N\Upsilon_{k,i}^t}\sum_{i=1}^N\Upsilon_{k,i}^t[ (x_i-\mu_k)(x_i-\mu_k)^T] \end{aligned} 00i=1∑N​Υk,it​Σk−1​Σk​i=1∑N​Υk,it​⟹Σk​​=i=1∑N​Υk,it​{−21​Σk−1​+21​Σk−1​[(xi​−μk​)(xi​−μk​)T]Σk−1​}=−21​i=1∑N​Υk,it​Σk−1​+21​i=1∑N​Υk,it​Σk−1​[(xi​−μk​)(xi​−μk​)T]Σk−1​=Σk−1​i=1∑N​Υk,it​[(xi​−μk​)(xi​−μk​)T]Σk−1​=i=1∑N​Υk,it​[(xi​−μk​)(xi​−μk​)T]=∑i=1N​Υk,it​1​i=1∑N​Υk,it​[(xi​−μk​)(xi​−μk​)T]​
我们已经解决了所有参数，即已经求出了M-step最大化$Q(\Theta ,{\Theta }^t)$得到${\Theta }^{t+1}$所有参数的表达式！

参考网址

[1] Introduction to Mixture Models https://stephens999.github.io/fiveMinuteStats/intro_to_mixture_models.html

[2] Introduction to EM: Gaussian Mixture Models https://stephens999.github.io/fiveMinuteStats/intro_to_em.html

[3] Gaussian mixture modelshttps://mbernste.github.io/posts/gmm_em/

[4] 高斯分布的相关知识_https://blog.csdn.net/BryantDaiJB/article/details/123346435

[5] 如何感性地理解EM算法？https://zhuanlan.zhihu.com/p/102275054