【EM算法】通俗理解+数学推导

Expectation Maximization Algorithm

单一高斯模型拟合数据

当数据的分布情况如下图所示时，可以采用单个的高斯模型来对数据进行拟合：

似然函数：
$$\begin{array}{rl}\mathcal{L}(\theta |\bar{X})& =\log [P(\bar{X}|\theta )]\\ & =\sum _{i=1}^k\log P(x_i|\theta )\\ & =\sum _{i=1}^N\log \mathcal{N}(x_i|\mu ,\sigma )\end{array}$$
求解$\arg \underset{\theta }{\max }=\mathcal{L}(\theta |\bar{X})$

先求：
$${\mu }_{MLE}=\frac{\partial \mathcal{L}(\mu ,\sigma |\bar{X})}{\partial \mu }=0$$
再求：
$${\sigma }_{MLE}^2=\frac{\partial \mathcal{L}({\mu }_{MLE},\sigma |\bar{X})}{\partial \sigma }=0$$

解得：
$$\begin{array}{rl}{\mu }_{MLE}& =\frac{1}{N}\sum _{i=1}^N{x}_i\\ {\sigma }_{MLE}^2& =\frac{{\sum }_{i=1}^N(x_i-{\mu }_{MLE})}{N}\end{array}$$
但是在现实情况下，数据可能是这样分布的：

此时不能用一个高斯模型拟合求解，需要用到两个或多个高斯模型混合求解。

高斯混合模型

高斯混合模型的定义：

$$\begin{array}{r}p(X|\theta )=\sum _{l=1}^k{\alpha }_l\mathcal{N}(X|{\mu }_l,{\sigma }_l)s.t.\sum _{l=1}^k{\alpha }_l=1\end{array}$$

其中,${\alpha }_l$为第 $l$ 个 高斯模型的归一化权重，$\mathcal{N}(X|{\mu }_l,{\sigma }_l)$是高斯分布密度
θ = { θ 1 = [ α 1 , μ 1 , σ 1 ]   . . .   θ k = [ α k , μ k , σ k ] } \theta=\{\theta_1=[\alpha_1,\mu_1,\sigma_1]\,...\,\theta_k=[\alpha_k,\mu_k,\sigma_k]\}\nonumber θ={θ1​=[α1​,μ1​,σ1​]...θk​=[αk​,μk​,σk​]}
接着，对高斯混合模型中的 $\theta$ 参数进行极大似然估计：

$$\begin{array}{rl}{\theta }_{MLE}& =\arg \underset{\theta }{\max }\mathcal{L}(\theta |\mathcal{X})\\ & =\arg \underset{\theta }{\max }(\sum _{i=1}^n\log \sum _{l=1}^k{\alpha }_l\mathcal{N}(X|{\mu }_l,{\sigma }_l))\end{array}$$

此时，对${\mu }_1,{\mu }_2...{\mu }_k$、${\sigma }_1,{\sigma }_2...{\sigma }_k$都求偏导，然后再求解很困难，所以需要借助EM算法根据迭代的方式来求解。

EM算法迭代公式

定义EM算法的参数更新公式为：

$${\theta }^{(g+1)}=\arg \underset{\theta }{\max }{\int }_Z\log [p(X,Z|\theta )]\cdot p(Z|X,{\theta }^{(g)})\mathrm{d}Z\text{\hspace{1em}(1)}$$

其中，$Z$为隐变量（辅助变量）。

引入隐变量的前提

1、简化求解；

2、不改变数据的边缘分布（在此，对第2条进行证明）

证明满足边缘分布也就是要证明加入隐变量 $Z$ 后式$(2)$成立：

$$p(x_i)={\int }_{z_i}{p}_{\theta }(x_i|z_i)\cdot p_{\theta }(z_i)\mathrm{d}{z}_i{z}_i\in 1,2,...k\text{\hspace{1em}(2)}$$
该如何理解高斯混合模型中的隐变量 $Z$ 呢？

其实，$Z$ 就代表着数据属于哪儿一个高斯分布，如下图所示：

此时，高斯混合模型在一定程度上已经退化为了单个高斯模型，这样也就大大简化了求解。
那在没有观测到数据之前，$z_i$ 到底属于 ${\theta }_1$还是属于 ${\theta }_2$ 呢？即：$$p(z_i)=?$$

其实 $p(z_i)$这个概率就是从高斯混合模型中的权重参数得来的，即：

$$p(z_i)={\alpha }_{z_i}$$
此时，

$$p_{\theta }(x_i|z_i)=\mathcal{N}(x_i|{\mu }_{z_i},{\sigma }_{z_i})$$
将$p(z_i)$、$p_{\theta }(x_i|z_i)$代入到上式中，得：

$$\begin{array}{rl}p(x_i)& ={\int }_{z_i}{p}_{\theta }(x_i|z_i)\cdot p_{\theta }(z_i)\mathrm{d}{z}_i\\ & =\sum _{z_i}^k{\alpha }_{z_i}\mathcal{N}(x_i|{\mu }_{z_i},{\alpha }_{z_i})\end{array}$$
所以不会改变 $x_i$ 的边缘分布，条件2得证！

收敛性证明（局部收敛）

如果EM算法收敛，则随着迭代更新，似然函数始终都在增加，即对于任意更新步骤，都有当前更新的似然比上一次更新的似然要大。则需要证明：

$$\log P(X|{\theta }^{(g+1)})=\mathcal{L}({\theta }^{(g+1)})⩾\mathcal{L}({\theta }^{(g)})=\log P(X|{\theta }^{(g)})\text{\hspace{1em}(3)}$$

证明：

由联合概率公式

$$P(X)=\frac{P(X,Z)}{P(Z|X)}$$

得

$$\log P(X|\theta )=\log P(X,Z|\theta )-\log P(Z|X,\theta )\text{\hspace{1em}(4)}$$

对等式两边同时求期望得：

$$\underset{p(z|x,{\theta }^{(g)})}{E}[\log P(X|\theta )]=\underset{p(z|x,{\theta }^{(g)})}{E}[\log P(X,Z|\theta )-\log P(Z|X,\theta )]$$

等式左边:

$$\begin{array}{rl}\underset{p(z|x,{\theta }^{(g)})}{E}[\log P(X|\theta ]& ={\int }_Z\log [P(X|\theta )]\cdot P(Z|X,{\theta }^{(g)})\mathrm{dZ}\\ & =\log P(X|\theta )\end{array}$$

等式右边：

$$\begin{gathered} \underset{p(z|x,{\theta }^{(g)})}{E}[\log P(X,Z|\theta )-\log P(Z|X,\theta )] \\ ={\int }_Z\log [P(X,Z|\theta )]\cdot P(X,Z|{\theta }^{(g)})\mathrm{dZ}-{\int }_{\mathrm{Z}}\log [\mathrm{P}(Z|X,\theta )]\cdot \mathrm{P}(Z|X,{\theta }^{(\mathrm{g})})\mathrm{dZ} \end{gathered}$$

令：

$$\begin{array}{rl}Q(\theta ,{\theta }^{(g)})& ={\int }_Z\log [P(X,Z|\theta ]\cdot P(X,Z|{\theta }^{(g)})\mathrm{dZ}\\ H(\theta ,{\theta }^{(g)})& ={\int }_Z\log [P(Z|X,\theta ]\cdot P(Z|X,{\theta }^{(g)})\mathrm{dZ}\end{array}$$

则公式$(4)$可以写成
$$\log P(X|{\theta }^{(g)})=Q(\theta ,{\theta }^{(g)})-H(\theta ,{\theta }^{(g)})\text{\hspace{1em}(4)}$$
其中${\theta }^{(g)}$为常数，$\theta$为变量。并且，不难发现$Q(\theta ,{\theta }^{(g)})$为EM算法中的迭代公式。

分别取$\theta$为${\theta }^{(g)}$和${\theta }^{(g+1)}$并相减，有
$$\begin{gathered} \log P(X|{\theta }^{(g+1)})-\log P(X|{\theta }^{(g)}) \\ =[Q({\theta }^{(g+1)},{\theta }^{(g)})-Q({\theta }^{(g)},{\theta }^{(g)}]-[H({\theta }^{(g+1)},{\theta }^{(g)})-H({\theta }^{(g)},{\theta }^{(g)}]\text{\hspace{1em}(5)} \end{gathered}$$
因为当用EM算法求解 ${\theta }^{(g)}$ 迭代到 ${\theta }^{(g+1)}$ 时，有:

$$Q({\theta }^{(g+1)},{\theta }^{(g)})-Q({\theta }^{(g)},{\theta }^{(g)}\ge 0)$$

所以式 $(5)$右端第一项大于等于0。

因为，$f(x)=\log x$为凸函数，所以，由Jensen’s不等式得：
$$\begin{array}{rl}H({\theta }^{(g+1)},{\theta }^{(g)})-H({\theta }^{(g)},{\theta }^{(g)})& ={\int }_Z\log [P(Z|X,{\theta }^{(g+1)})]\cdot P(Z|X,{\theta }^{(g)})-\log [P(Z|X,{\theta }^{(g)})]\cdot P(Z|X,{\theta }^{(g)})\mathrm{dZ}\\ & ={\int }_Z\log [\frac{P(Z|X,{\theta }^{(g+1)})}{P(Z|Z,{\theta }^{(g)})}]\cdot P(Z|X,{\theta }^{(g)})\mathrm{dZ}\\ & \le \log [{\int }_Z\frac{P(Z|X,{\theta }^{(g+1)})}{P(Z|X,{\theta }^{(g)})}\cdot P(Z|X,{\theta }^{(g)})\mathrm{dZ}]\\ & =\log [{\int }_{Z}P(Z|X,{\theta }^{(g+1)})\mathrm{dZ}]\\ & =\log 1\\ & =0\end{array}\text{\hspace{1em}(6)}$$

由式$(5)$和式$(6)$得式$(7)$
$$\log P(X|{\theta }^{(g+1)})-\log P(X|{\theta }^{(g)})\ge 0\text{\hspace{1em}(7)}$$
即得式$(3)$​成立！

所以EM算法收敛性得证!

EM算法在高斯混合模型中的应用

高斯混合模型：

$$\begin{array}{r}P(X|\theta )=\sum _{l=1}^k{\alpha }_l\mathcal{N}(X|{\mu }_l,{\sigma }_l)s.t.\sum _{l=1}^k{\alpha }_l=1\end{array}$$

对于数据集 X = { x 1 , x 2 , . . . , x n } X=\{x_1,x_2,...,x_n\} X={x1​,x2​,...,xn​}引入隐变量 Z = { z 1 , z 2 , . . . , z n } Z=\{z_1,z_2,...,z_n\} Z={z1​,z2​,...,zn​}，每个$z_i$表示数据$x_i$属于第几个高斯分布

EM算法更新过程：
$$\begin{array}{rl}{\theta }^{(g+1)}& =\arg \underset{\theta }{\max }{\int }_Z\log [p(X,Z|\theta )]\cdot p(Z|X,{\theta }^{(g)})\mathrm{d}Z\\ & =\arg \underset{\theta }{\max }Q(\theta ,{\theta }^{(g)})\end{array}\text{\hspace{1em}(1)}$$

E过程，即计算$Q(\theta ,{\theta }^{(g)})$

计算$p(X,Z|\theta )$和$p(Z|X,\theta )$

计算$p(X,Z|\theta )$：
$$\begin{array}{rl}p(X,Z|\theta )& =\prod _{i=1}^{n}p(x_i,z_i|\theta )\\ & =\prod _{i=1}^{n}p(x_i|z_i,\theta )p(z_i|\theta )\end{array}$$
$p(z_i|\theta )$表示在没有任何数据$X$的情况下，是第$z_i$个高斯分布的概率，即为高斯混合分布的混合系数${\alpha }_{z_i}$，$p(x_i|z_i,\theta )$表示数据$x_i$在第$z_i$个高斯分布中的概率，即为$\mathcal{N}({\mu }_{z_i},{\Sigma }_{z_i})$，所以：
$$p(X,Z|\theta )=\prod _{i=1}^n{\alpha }_{z_i}\mathcal{N}({\mu }_{z_i},{\sigma }_{z_i})\text{\hspace{1em}(8)}$$
计算$p(Z|X,\theta )$:
$$\begin{array}{rl}p(Z|X,\theta )& =\prod _{i=1}^{n}p(z_i|x_i,\theta )\end{array}$$
其中，$p(z_i|x_i,\theta )$的直观解释见下图：

对于红色数据来说，其$p(z_i|x_i,\theta )$为：
$$\begin{gathered} p(z_i={\theta }_1|x_i,\theta )=\frac{a}{a+b} \\ p(z_i={\theta }_2|x_i,\theta )=\frac{b}{a+b} \end{gathered}$$
所以有
$$\begin{array}{rl}p(z_i|x_i,\theta )& =\frac{p(x_i,z_i|\theta )}{p(x_i|\theta )}\\ & =\frac{{\alpha }_{z_i}\mathcal{N}({\mu }_{z_i},{\sigma }_{z_i})}{{\sum }_{l=1}^k{\alpha }_l\mathcal{N}({\mu }_l,{\sigma }_l)}\end{array}$$

所以有
$$\begin{array}{rl}p(Z|X,\theta )& =\prod _{i=1}^{n}p(z_i|x_i,\theta )\\ & =\prod _{i=1}^n\frac{p(x_i,z_i|\theta )}{p(x_i|\theta )}\\ & =\prod _{i=1}^n\frac{{\alpha }_{z_i}\mathcal{N}({\mu }_{z_i},{\sigma }_{z_i})}{{\sum }_{l=1}^k{\alpha }_l\mathcal{N}({\mu }_l,{\sigma }_l)}\end{array}\text{\hspace{1em}(9)}$$
将式$(8)$和$(9)$代入得：
$$\begin{array}{rl}Q(\theta ,{\theta }^{(g)})& ={\int }_Z\ln [p(X,Z|\theta )]\cdot p(Z|X,{\theta }^{(g)})\mathrm{d}Z\\ & ={\int }_{z_1}...{\int }_{z_n}(\sum _{i=1}^n\ln p(z_i,x_i|\theta )\prod _{i=1}^{n}p(z_i|x_i,{\theta }^{(g)}))\mathrm{d}{z}_1...\mathrm{d}{z}_n\end{array}$$

简化$Q(\theta ,{\theta }^{(g)})$所用公式推导

因为有如下公式：
$${\int }_{y_1}...{\int }_{y_n}(\sum _{i=1}^n{f}_i(y_i))P(Y)\mathrm{d}Y=\sum _{i=1}^n({\int }_{y_i}{f}_i(y_i)P_i(y_i)\mathrm{d}{y}_i)$$

其中$P(Y)$是$y_1,...,y_n$的联合概率分布$P(y_1,...,y_n)$，

该公式推导过程：

令$F(Y)=f_1(x_1)+...+f_n(x_n)={\sum }_{i=1}^n{f}_i(y_i)$：
$${\int }_Y(F(Y))P(Y)\mathrm{d}Y={\int }_{y_1}...{\int }_{y_n}(\sum _{i=1}^n{f}_i(y_i))P(Y)\mathrm{d}{y}_1...\mathrm{d}{y}_n$$

将上式中${\sum }_{i=1}^n{f}_i(y_i)$展开，则为：
$$\begin{array}{rl}{\int }_{y_1}...{\int }_{y_n}& (\sum _{i=1}^n{f}_i(y_i))P(Y)\mathrm{d}{y}_1...\mathrm{d}{y}_n\\ & ={\int }_{y_1}...{\int }_{y_n}[f_1(y_1)+f_2(y_2)+...+f_n(y_n)]P(y_1,...,y_n)\mathrm{d}{y}_1...\mathrm{d}{y}_n\\ & ={\int }_{y_1}...{\int }_{y_n}{f}_1(y_1)P(y_1,...,y_n)\mathrm{d}{y}_1...\mathrm{d}{y}_n\\ & +{\int }_{y_1}...{\int }_{y_n}{f}_2(y_2)P(y_1,...,y_n)\mathrm{d}{y}_1...\mathrm{d}{y}_n\\ & +...+{\int }_{y_1}...{\int }_{y_n}{f}_n(y_n)P(y_1,...,y_n)\mathrm{d}{y}_1...\mathrm{d}{y}_n\end{array}$$

先重点关注第一项：
$${\int }_{y_1}...{\int }_{y_n}{f}_1(y_1)P(y_1,...,y_n)\mathrm{d}{y}_1...\mathrm{d}{y}_n$$

因为$f_1(y_1)$与$y_2,...,y_n$均无关，对于$y_2,...,y_n$来说$f_1(y_1)$可看作是常数，所以$f_1(y_1)$可以移到与之无关变量的积分号的外面，即
$$\begin{gathered} {\int }_{y_1}...{\int }_{y_n}{f}_1(y_1)P(y_1,...,y_n)\mathrm{d}{y}_1...\mathrm{d}{y}_n \\ ={\int }_{y_1}{f}_1(y_1)({\int }_{y_2}...{\int }_{y_n}P(y_1,...,y_n)\mathrm{d}{y}_2...\mathrm{d}{y}_n)\mathrm{d}{y}_1 \end{gathered}$$

根据边缘概率公式：
$$P(x)={\int }_{y}P(x,y)\mathrm{d}y$$

因此有：
$$\begin{array}{rl}P(y_1,y_2,...,y_{n-1})& ={\int }_{y_n}P(y_1,y_2,...,y_{n-1},y_n)\mathrm{d}{y}_n\\ P(y_1,y_2,...,y_{n-2})& ={\int }_{y_{n-1}}P(y_1,y_2,...,y_{n-2},y_{n-1})\mathrm{d}{y}_{n-1}\\ & ⋮\\ P(y_1)& ={\int }_{y_2}P(y_1,y_2)\mathrm{d}{y}_2\end{array}$$

因此套用一次边缘概率公式，可以去除掉一层积分，所以公式第一项最后变为：
$${\int }_{y_1}{f}_1(y_1)({\int }_{y_2}...{\int }_{y_n}P(y_1,...,y_n)\mathrm{d}{y}_2...\mathrm{d}{y}_n)\mathrm{d}{y}_1={\int }_{y_1}{f}_1(y_1)P(y_1)\mathrm{d}{y}_1$$

整个公式即为：
$$\begin{array}{rl}{\int }_{y_1}...{\int }_{y_n}& (\sum _{i=1}^n{f}_i(y_i))P(Y)\mathrm{d}{y}_1...\mathrm{d}{y}_n\\ & ={\int }_{y_1}...{\int }_{y_n}{f}_1(y_1)P(y_1,...,y_n)\mathrm{d}{y}_1...\mathrm{d}{y}_n\\ & +{\int }_{y_1}...{\int }_{y_n}{f}_2(y_2)P(y_1,...,y_n)\mathrm{d}{y}_1...\mathrm{d}{y}_n\\ & +...+{\int }_{y_1}...{\int }_{y_n}{f}_n(y_n)P(y_1,...,y_n)\mathrm{d}{y}_1...\mathrm{d}{y}_n\\ & ={\int }_{y_1}{f}_1(y_1)P(y_1)\mathrm{d}{y}_1\\ & +{\int }_{y_2}{f}_2(y_2)P(y_2)\mathrm{d}{y}_2\\ & +...+{\int }_{y_n}{f}_n(y_n)P(y_n)\mathrm{d}{y}_n\\ & =\sum _{i=1}^n({\int }_{y_i}{f}_i(y_i)P(y_i)\mathrm{d}{y}_i)\end{array}$$

简化$Q(\theta ,{\theta }^{(g)})$

因此，把$f_i(y_i)$看作$\log p(z_i,x_i|\theta )$，把$P_i(y_i)$看作$p(z_i|x_i,{\theta }^{(g)})$，可得：
$$\begin{array}{rl}Q(\theta ,{\theta }^{(g)})& ={\int }_{z_1}...{\int }_{z_n}(\sum _{i=1}^n\ln p(z_i,x_i|\theta )\prod _{i=1}^{n}p(z_i|x_i,{\theta }^{(g)}))\mathrm{d}{z}_1...\mathrm{d}{z}_n\\ & =\sum _{i=1}^n({\int }_{z_i}\ln p(z_i,x_i|\theta )p(z_i|x_i,{\theta }^{(g)})\mathrm{d}{z}_i)\end{array}$$
因为是$z_i$离散随机变量， z i ∈ { 1 , . . . , k } z_i\in\{1,...,k\} zi​∈{1,...,k}，所以积分符号应写为累加符号，可得：
$$\begin{array}{rl}Q(\theta ,{\theta }^{(g)})& =\sum _{i=1}^n({\int }_{z_i}\ln p(z_i,x_i|\theta )p(z_i|x_i,{\theta }^{(g)})\mathrm{d}{z}_i)\\ & =\sum _{i=1}^n(\sum _{z_i=1}^k\ln p(z_i,x_i|\Theta )p(z_i|x_i,{\theta }^{(g)}))\end{array}$$
用$l$替换$z_i$，最终可得：
$$\begin{array}{rl}Q(\theta ,{\theta }^{(g)})& =\sum _{l=1}^k\sum _{i=1}^n\ln p(l,x_i|\theta )p(l|x_i,{\theta }^{(g)})\\ & =\sum _{l=1}^k\sum _{i=1}^n\ln [{\alpha }_l\mathcal{N}(x_i|{\mu }_l,{\sigma }_l)]p(l|x_i,{\theta }^{(g)})\\ & =\sum _{l=1}^k\sum _{i=1}^n\ln ({\alpha }_l)p(l|x_i,{\theta }^{(g)})\\ & +\sum _{l=1}^k\sum _{i=1}^n\ln [\mathcal{N}(x_i|{\mu }_l,{\sigma }_l)]p(l|x_i,{\theta }^{(g)})\end{array}$$

M过程，即最大化$Q(\theta ,{\theta }^{(g)})$

每次更新即为求使$Q(\theta ,{\theta }^{(g)})$最大的 { α 1 , . . . , α k , μ 1 , . . . , μ k , σ 1 , . . . , σ k } \{\alpha_1,...,\alpha_k,\mu_1,...,\mu_k,\sigma_1,...,\sigma_k\} {α1​,...,αk​,μ1​,...,μk​,σ1​,...,σk​}。而由于式中加号左边只包含$\alpha$，而加号右边只包含$\mu$,$\sigma$。所以可以每一项分别最大化

最大化$\alpha$

计算公式：
$${\alpha }_l=\frac{1}{n}\sum _{i=1}^{n}p(l|x_i,{\theta }^{(g)})$$
计算过程：

​ 优化目标：
$$\frac{\partial {\sum }_{l=1}^k{\sum }_{i=1}^n\ln ({\alpha }_l)p(l|x_i,{\theta }^{(g)})}{\partial {\alpha }_1,...,\partial {\alpha }_k}=[\mathrm{0...0}]s.t\sum _{l=1}^k{\alpha }_l=1$$
​ 因为${\sum }_{i=1}^{n}p(l|x_i,{\theta }^{(g)})$这部分当中不包含$\alpha$，所以:
$$\frac{\partial \mathbb{LM}}{\partial {\alpha }_l}=\frac{1}{{\alpha }_l}(\sum _{i=1}^{n}p(l|x_i,{\theta }^{(g)}))+\lambda =0$$
​ 所以：
$${\alpha }_l=-\frac{1}{\lambda }(\sum _{i=1}^{n}p(l|x_i,{\theta }^{(g)}))$$
​ 因为：
$$\sum _{l=1}^k{\alpha }_l=1$$

​ 即：
$$-\sum _{l=1}^k\frac{1}{\lambda }(\sum _{i=1}^{n}p(l|x_i,{\theta }^{(g)}))=1$$
​ 接着：
$$\begin{array}{rl}\lambda & =-\sum _{l=1}^k(\sum _{i=1}^{n}p(l|x_i,{\theta }^{(g)}))\\ & =-\sum _{i=1}^n(\sum _{l=1}^{k}p(l|x_i,{\theta }^{(g)}))\\ & =-\sum _{i=1}^{n}1\\ & =-n\end{array}$$
​ 所以：
$${\alpha }_l=\frac{1}{n}\sum _{i=1}^{n}p(l|x_i,{\theta }^{(g)})$$

最大化$\mu$

${\mu }_l$计算公式：
$${\mu }_l=\frac{{\sum }_{i=1}^n{x}_{i}p(l|x_i,{\theta }^{(g)})}{{\sum }_{i=1}^{n}p(l|x_i,{\theta }^{(g)})}$$
$\mu$计算过程

​ 优化目标：
$$\frac{\partial {\sum }_{l=1}^k{\sum }_{i=1}^n\ln [\mathcal{N}(x_i|{\mu }_l,{\Sigma }_l)]p(l|x_i,{\theta }^{(g)})}{\partial {\mu }_1,...,\partial {\mu }_k,\partial {\sigma }_1,...,\partial {\sigma }_k}=[\mathrm{0...0}]$$
​ 因为：
$$\begin{array}{rl}\sum _{l=1}^k& \sum _{i=1}^n\ln [\mathcal{N}(x_i|{\mu }_l,{\sigma }_l)]p(l|x_i,{\theta }^{(g)})\\ & =\sum _{l=1}^k\sum _{i=1}^n\ln \left(\frac{1}{\sqrt{(2\pi {)}^d|{\sigma }_l|}}{e}^{-\frac{1}{2}(x_i-{\mu }_l{)}^{\top }{\sigma }_l^{-1}(x_i-{\mu }_l)}\right)p(l|x_i,{\theta }^{(g)})\\ & =\sum _{l=1}^k\sum _{i=1}^n(-\frac{1}{2}\ln ((2\pi {)}^d|{\sigma }_l|)-\frac{1}{2}(x_i-{\mu }_l{)}^{\top }{\sigma }_l^{-1}(x_i-{\mu }_l))p(l|x_i,{\theta }^{(g)})\end{array}$$
​ 将上式对${\mu }_l$求导，并令其为0，可得：
$$\sum _{i=1}^n{\sigma }_l^{-1}(x_i-{\mu }_l)p(l|x_i,{\theta }^{(g)})=0$$

​ 所以：
$${\mu }_l=\frac{{\sum }_{i=1}^n{x}_{i}p(l|x_i,{\theta }^{(g)})}{{\sum }_{i=1}^{n}p(l|x_i,{\theta }^{(g)})}$$

最大化$\sigma$

${\sigma }_l$计算公式：
$$\begin{array}{rl}{\sigma }_l& =\frac{{\sum }_{i=1}^n{M}_l}{{\sum }_{i=1}^{n}p(l|x_i,{\theta }^{(g)})}\\ & =\frac{{\sum }_{i=1}^n(x_i-{\mu }_l)(x-{\mu }_l{)}^{⊺}p(l|x_i,{\theta }^{(g)})}{{\sum }_{i=1}^{n}p(l|x_i,{\theta }^{(g)})}\end{array}$$

更新参数${\theta }^{(g)}\to {\theta }^{(g+1)}$

$$\begin{gathered} {\alpha }_l^{(g+1)}=\frac{1}{N}\sum _{i=1}^{N}p(l|x_i,{\theta }^{(g)}) \\ {\mu }_l^{(g+1)}=\frac{{\sum }_{i=1}^N{x}_{i}p(l|x_i,{\theta }^{(g)})}{{\sigma }_{i=1}^{N}p(l|x_i,{\theta }^{(g)})} \\ {\sigma }_l^{(g+1)}=\frac{{\sum }_{i=1}^N[x_i-{\mu }_l^{(g+1)}][x-{\mu }_l^{(g+1)}{]}^{⊺}p(l|x_i,{\theta }^{(g)})}{{\sum }_{i=1}^{N}p(l|x_i,{\theta }^{(g)})} \end{gathered}$$