Expectation-Maximum-Algorithm(EM算法之一)

1. 预备知识

1.1 凸函数的性质

假设定义在实数域上的函数，对于 任意的实数，都有
$$f^{\prime \prime }(x)<0\text{\hspace{1em}(1.1)}$$
则函数$f(x)$称为凸函数，反之，为凹函数。（国内外教材对于凸凹函数的定义不同，这里采用国内教材为准）

1.2 Jensen不等式

1.2.1 数学意义

如果函数是凸函数，则有
$$f(\lambda x_1+(1-\lambda )x_2)\ge \lambda f(x_1)+(1-\lambda )f(x_2)\text{\hspace{1em}(1.2)}$$

如果函数是凹函数，则有
$$f(\lambda x_1+(1-\lambda )x_2)\le \lambda f(x_1)+(1-\lambda )f(x_2)\text{\hspace{1em}(1.3)}$$

1.2.2 几何意义

当$\lambda$为$0.5$时，左右两边严格相等。

1.2.3 推广

若存在凸函数$f(x)$，其中有
$$\begin{array}{r}\sum _{i=1}^k{\lambda }_i=1,{\lambda }_i\ge 0\end{array}\text{\hspace{1em}(1.4)}$$
则有
$$\begin{array}{r}f({\lambda }_1{x}_1+{\lambda }_2{x}_2+...+{\lambda }_k{x}_k)\ge {\lambda }_{1}f(x_1)+{\lambda }_{2}f(x_2)+...+{\lambda }_{k}f(x_k)\end{array}\text{\hspace{1em}(1.5)}$$
在概率论中，我们知道对于离散变量的期望$E$有
$$\begin{array}{r}E(X)=\sum _i^k{p}_i{X}_i\end{array}\text{\hspace{1em}(1.6)}$$
类比公式$(1.4),(1.5)$则有
$$\begin{array}{r}f(E(X))\ge E(f(X))\end{array}\text{\hspace{1em}(1.7)}$$

1.3 隐变量

不能被直接观察到，但是对系统的状态和能观察到的输出存在影响的一种东西。 下文中，硬币A的结果，就是隐变量。

1.4 极大似然函数的概念

1.4.1 极大似然函数的概念

简单的说,极大似然估计就是固定住观测变量的值,确定可能性最大的一系列参数的过程.

1.4.2 极大似然函数——以高斯分布为例

若给定一组样本$x_1，x_2\dots ,x_N$，已知它们来自于高斯分布$N(\mu ,{\sigma }^2)$，试估参数$\mu ,\sigma$。

1.4.3 极大似然函数——以高斯混合分布为例

1.4.3.1 多元高斯分布

多元高斯分布是对$d$维样本空间$\chi$中的随机向量$\mathbf{X}$，若$\mathbf{X}$服从高斯分布，则其概率密度为：
$$\begin{array}{r}f(\mathbf{x})=\frac{1}{{2\pi }^{n/2}|\Sigma {|}^{1/2}}{e}^{-\frac{1}{2}(\mathbf{X}-\mathbf{\mu }{)}^T{\Sigma }^{-1}(\mathbf{X}-\mathbf{\mu })}\end{array}\text{\hspace{1em}(1.8)}$$

注意一点：

• 当随机变量$X$是 $1$维数据 时，均值${\mu }_k$和方差${\sigma }_k$均为一个标量（其中$(k<K)$）
• 当随机变量$X$是 $m$维数据 时，均值$\mu$是一个$m$维的向量，和方差$\sigma$是一个$d\ast d$的协方差矩阵。为了加以区分，将$\sigma$记为$\Sigma$。

1.4.3.2 多元高斯混合分布

定义

通常在自然界中，随机变量$\mathbf{X}$可能有$K$个高斯分布混合组成，那么，记取自不同高斯分布的概率分别为${\pi }_1,{\pi }_2,...,{\pi }_K$，第$k$个高斯分布的均值为${\mu }_k$，方差为${\sigma }_k$。

此时，需要估计的参数为：$K$个$\pi ,\mu ,\Sigma$。

因此， 高斯混合模型是指具有如下形式的概率分布模型：
$$\begin{array}{r}P(\mathbf{X}|\theta )=\sum _{k=1}^K{\pi }_k\varphi (\mathbf{X};{\theta }_k)\end{array}\text{\hspace{1em}(1.10)}$$
其中，${\pi }_k$是系数，${\pi }_k\ge 0,{\sum }_{k=1}^K{\pi }_k=1$，且$\varphi (\mathbf{X}|{\theta }_k)$是高斯分布密度$\varphi (\mathbf{X};{\mu }_k,{\Sigma }_k)$。

似然函数的建立

建立似然函数，分两步走：

1. 因为取到第$i$个样本来自于第$k$个样本的概率为${\pi }_k\varphi ({\mathbf{x}}_{\mathbf{i}};{\mathbf{\mu }}_{\mathbf{k}}{\mathbf{\Sigma }}_{\mathbf{k}})$。所以，取到第$i$个样本的概率为：
   $$\begin{array}{r}P(\mathbf{X}={\mathbf{x}}_{\mathbf{i}};\theta )=\sum _{k=1}^K{\pi }_k\varphi ({\mathbf{x}}_{\mathbf{i}};{\mathbf{\mu }}_{\mathbf{k}},{\mathbf{\Sigma }}_{\mathbf{k}})\end{array}\text{\hspace{1em}(1.11)}$$
2. $N$个样本的似然函数为
   $$\begin{array}{rl}L(\pi ,\mathbf{\mu },\mathbf{\Sigma })=& \prod _{i=1}^N\sum _{k=1}^K{\pi }_k\varphi ({\mathbf{x}}_{\mathbf{i}};{\mathbf{\mu }}_{\mathbf{k}},{\mathbf{\Sigma }}_{\mathbf{k}})\end{array}\text{\hspace{1em}(1.12)}$$
   对公式$(1.12)$取对数有
   $$\begin{array}{rl}log(L_{\pi ,{\mathbf{\mu }}_{\mathbf{k}},{\mathbf{\Sigma }}_{\mathbf{k}}})=& log(\prod _{i=1}^N\sum _{k=1}^K{\pi }_k\varphi ({\mathbf{x}}_{\mathbf{i}};{\mathbf{\mu }}_{\mathbf{k}},{\mathbf{\Sigma }}_{\mathbf{k}})))\\ =& \sum _{i=1}^{N}log(\sum _{k=1}^K{\pi }_k\varphi ({\mathbf{x}}_{\mathbf{i}};{\mathbf{\mu }}_{\mathbf{k}},{\mathbf{\Sigma }}_{\mathbf{k}})))\end{array}\text{\hspace{1em}(1.13)}$$
   此时，我们的目标是要找到$K$个高斯分布的${\mathbf{\mu }}_{\mathbf{k}},{\mathbf{\Sigma }}_{\mathbf{k}}$，使得公式$(1.13)$最大
   $$\begin{array}{rl}log(L_{\pi ,{\mathbf{\mu }}_{\mathbf{k}},{\mathbf{\Sigma }}_{\mathbf{k}}})=& \sum _{i=1}^{N}log(\sum _{k=1}^K{\pi }_k\varphi ({\mathbf{x}}_{\mathbf{i}};{\mathbf{\mu }}_{\mathbf{k}},{\mathbf{\Sigma }}_{\mathbf{k}})))\end{array}\text{\hspace{1em}(1.14)}$$

预备知识完毕，下面开始进入EM算法预热。

---

2. EM算法的直观理解（此过程并不严谨）

先假设参数，根据参数计算其所属概率，反过来计算已知概率情况下该参数的后验概率，再通过最大似然估计参数，循环往复，直到收敛。

以知乎男女身高分布的例子为例。随机挑选1000个人，测量他们的身高。在这1000个人中，有男性有女性，身高分别服从$N_{boy}({\mu }_{boy},{\sigma }_{boy}^2)$和$N_{girl}({\mu }_{girl},{\sigma }_{girl}^2)$的分布，试着估计${\mu }_{boy},{\sigma }_{boy},{\mu }_{girl},{\sigma }_{girl}$。

1. 估计每个样本数据由每个分布组成的比例。

首先假设男孩服从的分布为$N_{boy}(175,10^2)$，女孩服从分布$N_{girl}(165,8^2)$。将第一个样本$X_1=198$分别带入公式$(2.1)$中，有：
$$\begin{array}{r}{f}_{boy}(198)=\frac{1}{\sqrt{2\pi }\ast 10}{e}^{-\frac{(198-175{)}^2}{2\ast 10^2}}\end{array}\text{\hspace{1em}(2.2-1)}$$
$$\begin{array}{r}{f}_{girl}(198)=\frac{1}{\sqrt{2\pi }\ast 8}{e}^{-\frac{(198-165{)}^2}{2\ast 8^2}}\end{array}\text{\hspace{1em}(2.2-2)}$$

2. 其次，假设选择男生分布的概率为${\pi }_{boy}=\frac{1}{2}$，女性分布的概率为${\pi }_{girl}=\frac{1}{2}$，带入公式$(2.1)$可以写成

$$\begin{array}{rl}\gamma (1,boy)=& \frac{{\pi }_{boy}N(X_1;{\mu }_{boy},{\sigma }_{boy})}{{\sum }_{k=1}^K{\pi }_{k}N(X_1;{\mu }_k,{\sigma }_k)}\\ & \\ =& \frac{\frac{1}{2}\ast f_{boy}(198)}{\frac{1}{2}\ast f_{boy}(198)+\frac{1}{2}\ast f_{girl}(198)}\end{array}\text{\hspace{1em}(2.3-1)}$$
$$\begin{array}{rl}\gamma (1,girl)=& \frac{{\pi }_{girl}N(X_1;{\mu }_{girl},{\sigma }_{girl})}{{\sum }_{k=1}^K{\pi }_{k}N(X_1;{\mu }_k,{\sigma }_k)}\\ & \\ =& \frac{\frac{1}{2}\ast f_{girl}(198)}{\frac{1}{2}\ast f_{boy}(198)+\frac{1}{2}\ast f_{girl}(198)}\end{array}\text{\hspace{1em}(2.3-2)}$$

此时，男孩样本$1$上的变化情况为$198\ast \gamma (1,boy)$，女孩样本$1$上的变化情况为$198\ast \gamma (1,girl)$。

3. 对所有样本均重复上述操作。

可得到$\gamma (i,boy)$、$\gamma (i,girl)$，其中$i=1,2,...,N$。第一轮参数估计的结果为：
$$\begin{array}{rl}{\mu }_{boy}=& \frac{1}{{\sum }_{i=1}^N\gamma (i,boy)}\sum _{i=1}^N{X}_i\ast \gamma (i,boy)\end{array}\text{\hspace{1em}(2.4-1)}$$
$$\begin{array}{rl}{\mu }_{girl}=& \frac{1}{{\sum }_{i=1}^N\gamma (i,girl)}\sum _{i=1}^N{X}_i\ast \gamma (i,girl)\end{array}\text{\hspace{1em}(2.4-2)}$$
$$\begin{array}{rl}{\sigma }_{boy}=& \frac{1}{{\sum }_{i=1}^N\gamma (i,boy)}\sum _{i=1}^N\gamma (i,boy)\ast (X_i-{\mu }_{boy}{)}^2\end{array}\text{\hspace{1em}(2.4-3)}$$
$$\begin{array}{rl}{\sigma }_{girl}=& \frac{1}{{\sum }_{i=1}^N\gamma (i,girl)}\sum _{i=1}^N\gamma (i,girl)\ast (X_i-{\mu }_{girl}{)}^2\end{array}\text{\hspace{1em}(2.4-4)}$$
$$\begin{array}{rl}{\pi }_{boy}=& \frac{{\sum }_{i=1}^N\ast \gamma (i,boy)}{N}\end{array}\text{\hspace{1em}(2.4-5)}$$
$$\begin{array}{rl}{\pi }_{girl}=& \frac{{\sum }_{i=1}^N\ast \gamma (i,girl)}{N}\end{array}\text{\hspace{1em}(2.4-6)}$$

4. 根据公式 (2.4-1,2.4-2,2.4-3,2.4-4, 2.4-5,2.4-6) 所得，重复上述步骤，直到迭代次数完毕为止或者误差极其小为止。

---

3. 从极大后验概率看EM算法

3.1 数据准备

若假设训练集由$K$个混合分布组成，且观测变量为$\mathbf{X}=[{\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_{\mathbf{N}}{]}^T$，给定每个样本具有$d$个特征值，未观测数据$\mathbf{z}=[z_1,z_2,...,z_N{]}^T$，$\theta$为对应的参数。

3.2 EM算法的科学推导

3.2.1 明确隐变量，写出似然函数

对于不含隐变量的数据而言，混合多元分布的似然函数可以写成
$$\begin{array}{r}log(L_{\theta })=\sum _{i=1}^{N}log(\sum _{k=1}^K{\pi }_{k}p({\mathbf{x}}_{\mathbf{i}};\theta ))\end{array}\text{\hspace{1em}(2.2)}$$
实际生活中，我们却不得不考虑隐变量，因此，需要稍微变动一下。公式(1.13)就变成了：
$$\begin{array}{rl}log(L_{\theta })=& \sum _{i=1}^{N}log(\sum _{k=1}^K{\pi }_{k}p({\mathbf{x}}_{\mathbf{i}},z_i;\theta ))\end{array}\text{\hspace{1em}(3.1)}$$

在进行下一步之前，需要明确的问题：

1. 隐变量与高斯混合分布的关系是怎样的?
隐变量与高斯混合分布是一一对应的，隐变量反映了观测数据来自K个高斯混合分布中的哪一个分布。在身高例子中，$z_i=boy$说明，第$i$个变量来自于“男”这个高斯分布。
因此，第$i$个样本的隐随机变量$z_i$的可能的取值为 Z = { 1 , 2 , . . . , k } , 1 ≤ k ≤ K Z=\{1,2,...,k\},1 \leq k \leq K Z={1,2,...,k},1≤k≤K。

在上述条件的基础下，有人找到了一个这样一个东西：第$i$个样本的隐随机变量$z_i$满足某个分布$Q_i$，$Q_i(z_i)>0$，则公式(2.3)又可以写成：
$$\begin{array}{rl}log(L_{\theta })=& \sum _{i=1}^{N}log(\sum _{z_i}^{{\mathbf{Q}}_{\mathbf{i}}(\mathbf{Z})}{\pi }_{z_i}p({\mathbf{x}}_{\mathbf{i}},z_i;\theta ))\end{array}\text{\hspace{1em}(3.2)}$$
然后又变换了一下：
$$\begin{array}{rl}log(L_{\theta })=& \sum _{i=1}^{N}log(\sum _{z_i}^{{\mathbf{Q}}_{\mathbf{i}}(\mathbf{Z})}{Q}_i(z_i)\frac{{\pi }_{z_i}p({\mathbf{x}}_{\mathbf{i}},z_i;\theta )}{Q_i(z_i)})\end{array}\text{\hspace{1em}(3.3)}$$

由于$log$函数是凸函数，则根据Jensen不等式，公式(2.6)可以改为：
$$\begin{array}{rl}log(L_{\theta })=& \sum _{i=1}^{N}log(\sum _{z_i}^{{\mathbf{Q}}_{\mathbf{i}}(\mathbf{Z})}{\pi }_{z_i}p({\mathbf{x}}_{\mathbf{i}},z_i;\theta ))\\ =& \sum _{i=1}^{N}log(\sum _{z_i}^{{\mathbf{Q}}_{\mathbf{i}}(\mathbf{Z})}{Q}_i(z_i)\frac{{\pi }_{z_i}p({\mathbf{x}}_{\mathbf{i}},z_i;\theta )}{Q_i(z_i)})\\ \ge & \sum _{i=1}^N\sum _{z_i}^{{\mathbf{Q}}_{\mathbf{i}}(\mathbf{Z})}{Q}_i(z_i)log(\frac{{\pi }_{z_i}p({\mathbf{x}}_{\mathbf{i}},z_i;\theta )}{Q_i(z_i)})\end{array}\text{\hspace{1em}(3.4)}$$

3.2.2 构建并求解下界函数

3.2.2.1 E-step

在2.1.1节中提到，当下界函数的极大值与$l(\theta )$在该点的取值相等时，则说明该点为$l(\theta )$的极大值。那么，什么时候会出现这种情况呢？
如果公式(1.5)中的变量$x$是常数呢，那么，此时等号也成立。此时有
$$\frac{p({\mathbf{x}}_{\mathbf{i}},z_i;\theta )}{Q_i(z_i)}=C,C是一个常数。\text{\hspace{1em}(3.5)}$$
则公式(3.5)可以改写成
$$p({\mathbf{x}}_{\mathbf{i}},z_i;\theta )=Q_i(z_i)\ast C\text{\hspace{1em}(3.6)}$$
两边同时累加可得
$$\begin{array}{rl}\sum _{z_i}^{{\mathbf{Q}}_{\mathbf{i}}(\mathbf{Z})}p({\mathbf{x}}_{\mathbf{i}},z_i;\theta )=& \sum _{z_i}^{{\mathbf{Q}}_{\mathbf{i}}(\mathbf{Z})}{Q}_i(z_i)\ast C\\ \sum _{z_i}^{{\mathbf{Q}}_{\mathbf{i}}(\mathbf{Z})}p({\mathbf{x}}_{\mathbf{i}},z_i;\theta )=& C\end{array}\text{\hspace{1em}(3.7)}$$
结合公式$(3.7)$与公式$(3.6)$可知：
$$\begin{array}{rl}{Q}_i(z_i)=& \frac{p({\mathbf{x}}_{\mathbf{i}},z_i;\theta )}{{\sum }_{z_i}^{{\mathbf{Q}}_{\mathbf{i}}(\mathbf{Z})}p({\mathbf{x}}_{\mathbf{i}},z_i;\theta )}\\ =& \frac{p({\mathbf{x}}_{\mathbf{i}},z_i;\theta )}{p({\mathbf{x}}_{\mathbf{i}};\theta )}\\ =& p(z_i|{\mathbf{x}}_{\mathbf{i}};\theta )\end{array}\text{\hspace{1em}(3.8)}$$
所以，若$Q_i(z_i)$为给定第$i$个样本${\mathbf{x}}_{\mathbf{i}}$的条件下，随机变量$\mathbf{Z}=z_i$的条件概率时，等号成立。(对于身高198的人来说，若求的是男生的参数估计时，需要计算在身高198的条件下，性别是男的概率。

3.2.2.2 M-step

$$\begin{array}{rl}log(L_{\theta })=& \sum _{i=1}^N\sum _{z_i}^{{\mathbf{Q}}_{\mathbf{i}}(\mathbf{Z})}{Q}_i(z_i)log(\frac{p({\mathbf{x}}_{\mathbf{i}},z_i;\theta )}{Q_i(z_i)})\\ =& \sum _{i=1}^N\sum _{z_i}^{{\mathbf{Q}}_{\mathbf{i}}(\mathbf{Z})}{Q}_i(z_i)log(\frac{p({\mathbf{x}}_{\mathbf{i}}|z_i;\theta )p(z_i;\theta )}{Q_i(z_i)})\end{array}\text{\hspace{1em}(3.9)}$$
所以，第$k$个分布的参数估计值为：
$$\begin{array}{rl}log(L_{{\theta }_k})=& \sum _{i=1}^{N}p(z_i=k|{\mathbf{x}}_{\mathbf{i}};\theta )log(\frac{p({\mathbf{x}}_{\mathbf{i}}|z_i=k;\theta )p(z_i=k;\theta )}{p(z_i=k|{\mathbf{x}}_{\mathbf{i}};\theta )})\end{array}\text{\hspace{1em}(3.10)}$$

---

4. EM算法在高斯混合分布中的应用

在进行下一步之前，需要明确的问题：

1. 高斯混合分布中各个概率的意义?
高斯混合分布的表达式：$P(\mathbf{X}|\theta )={\sum }_{k=1}^K{\pi }_k\varphi (\mathbf{X};{\theta }_k)$，在公式中
${\pi }_k$代表：隐变量的先验概率
$\varphi (\mathbf{X};{\theta }_k)$代表：给定隐变量后生成观测变量的条件概率
$P(\mathbf{X}|\theta )$代表：隐变量与观测变量的联合概率

4.1 代入参数

那么在高斯混合分布中则有：
$$\begin{array}{rl}log(L_{{\theta }_k})=& \sum _{i=1}^{N}p(z_i=k|{\mathbf{x}}_{\mathbf{i}};\theta )log(\frac{\frac{1}{(2\pi {)}^{n/2}|{\mathbf{\Sigma }}_{\mathbf{k}}{|}^{1/2}}exp(-\frac{1}{2}({\mathbf{X}}_{\mathbf{i}}-{\mathbf{\mu }}_{\mathbf{k}}{)}^T{{\mathbf{\Sigma }}_{\mathbf{k}}}^{-1}({\mathbf{X}}_{\mathbf{i}}-{\mathbf{\mu }}_{\mathbf{k}}){\pi }_k}{p(z_i=k|{\mathbf{x}}_{\mathbf{i}};\theta )})\end{array}\text{\hspace{1em}(4.1)}$$
公式(4.1)中:

• 向量${\mathbf{X}}_{\mathbf{i}}$代表第$i$个样本的特征数据；
• 向量${\mathbf{\mu }}_{\mathbf{k}}$代表第$k$个分布的均值；
• 矩阵${\mathbf{\Sigma }}_{\mathbf{k}}$代表第$k$个分布的协方差矩阵；
• 标量$z_i=k$代表第$i$个样本中隐随机变量所属的分布；
• 标量${\pi }_k$代表第$k$个分布所对应的先验概率。

4.2 计算参数${\mu }_k$、${\Sigma }_k$、${\pi }_k$

对参数${\mu }_k$、${\Sigma }_k$分别求导，矩阵求导参考。

• 计算参数${\mu }_k$。( $\frac{\partial {\mathbf{X}}^{\mathbf{T}}\mathbf{A}\mathbf{X}}{\partial \mathbf{X}}=2\mathbf{A}\mathbf{X}$，$\mathbf{A}$为对称矩阵。)
  $$\begin{array}{rl}{▽}_{{\mu }_k}log(L_{{\theta }_k})& ={▽}_{{\mu }_k}\sum _{i=1}^N{Q}_i(z_i=k)log(\frac{\frac{1}{(2\pi {)}^{n/2}|{\mathbf{\Sigma }}_{\mathbf{k}}{|}^{1/2}}exp(-\frac{1}{2}({\mathbf{x}}_{\mathbf{i}}-{\mathbf{\mu }}_{\mathbf{k}}{)}^T{{\mathbf{\Sigma }}_{\mathbf{k}}}^{-1}({\mathbf{x}}_{\mathbf{i}}-{\mathbf{\mu }}_{\mathbf{k}}){\pi }_k}{Q_i(z_i=k)})\\ & ={▽}_{{\mu }_k}\sum _{k=1}^K-\frac{1}{2}{Q}_i(z_i=k)({\mathbf{x}}_{\mathbf{i}}-{\mathbf{\mu }}_{\mathbf{k}}{)}^T{{\mathbf{\Sigma }}_{\mathbf{k}}}^{-1}({\mathbf{x}}_{\mathbf{i}}-{\mathbf{\mu }}_{\mathbf{k}})\\ & =\sum _{i=1}^N{Q}_i(z_i=k){{\mathbf{\Sigma }}_{\mathbf{k}}}^{-1}({\mathbf{\mu }}_{\mathbf{k}}-{\mathbf{x}}_{\mathbf{i}})\end{array}\text{\hspace{1em}(4.2-1)}$$
  令公式(4.2-1)结果为$0$，则有
  $$\begin{gathered} {\mathbf{\mu }}_{\mathbf{j}}=\frac{{\sum }_{i=1}^N{Q}_i(z_i=k)({\mathbf{x}}_{\mathbf{i}})}{{\sum }_{i=1}^N{Q}_i(z_i=k)} \\ 其中，Q_i(z_i=k)=p(z_i=k|{\mathbf{x}}_{\mathbf{i}};\theta )\text{\hspace{1em}(4.2-2)} \end{gathered}$$

• 计算参数${\Sigma }_k$。
  $$\begin{array}{rl}{▽}_{{\mu }_k}log(L_{{\Sigma }_k})& ={▽}_{{\Sigma }_k}\sum _{i=1}^N{Q}_i(z_i=k)log(\frac{\frac{1}{(2\pi {)}^{n/2}|{\mathbf{\Sigma }}_{\mathbf{k}}{|}^{1/2}}exp(-\frac{1}{2}({\mathbf{X}}_{\mathbf{i}}-{\mathbf{\mu }}_{\mathbf{k}}{)}^T{{\mathbf{\Sigma }}_{\mathbf{k}}}^{-1}({\mathbf{x}}_{\mathbf{i}}-{\mathbf{\mu }}_{\mathbf{k}}){\pi }_k}{Q_i(z_i=k)})\\ & ={▽}_{{\Sigma }_k}\sum _{i=1}^N-\frac{1}{2}{Q}_i(z_i=k)({\mathbf{x}}_{\mathbf{i}}-{\mathbf{\mu }}_{\mathbf{k}}{)}^T{{\mathbf{\Sigma }}_{\mathbf{k}}}^{-1}({\mathbf{x}}_{\mathbf{i}}-{\mathbf{\mu }}_{\mathbf{k}})\end{array}\text{\hspace{1em}(4.3-1)}$$
  令公式(4.3-1)结果为$0$，则有
  $$\begin{gathered} {\Sigma }_k=\frac{{\sum }_{i=1}^N{Q}_i(z_i=k)({\mathbf{x}}_{\mathbf{i}}-{\mathbf{\mu }}_{\mathbf{k}})({\mathbf{x}}_{\mathbf{i}}-{\mathbf{\mu }}_{\mathbf{k}}{)}^T}{{\sum }_{i=1}^N{Q}_i(z_i=k)} \\ 其中，Q_i(z_i=k)=p(z_i=k|{\mathbf{x}}_{\mathbf{i}};\theta )\text{\hspace{1em}(4.3-2)} \end{gathered}$$

• 计算参数${\pi }_k$。
  在${\mu }_k$和${\Sigma }_k$已知的情况下，且${\pi }_k\ge 0$，有${\sum }_{k^{\prime }=1}^K{\pi }_k^{\prime }=1$。因此，去掉常数项后，目标函数(4.1)可化简为：
  $$\begin{array}{r}\sum _{i=1}^N{Q}_i(z_i=k)log({\pi }_k)\end{array}\text{\hspace{1em}(4.4)}$$
  引入拉格朗日算子：
  $$\begin{array}{r}l({\pi }_k)=\sum _{i=1}^N{Q}_i(z_i=k)log({\pi }_k)+\lambda (\sum _{k^{\prime }=1}^K{\pi }_k-1)\end{array}\text{\hspace{1em}(4.5)}$$
  对${\pi }_k$求偏导，则有：
  $$\begin{array}{r}\frac{\partial l({\pi }_k)}{\partial {\pi }_k}=\sum _{i=1}^N{Q}_i(z_i=k)\frac{1}{{\pi }_k}+\lambda \end{array}\text{\hspace{1em}(4.6)}$$
  令公式(4.6)为0，则有：
  $$\begin{array}{rl}0& =\sum _{i=1}^N{Q}_i(z_i=k)\frac{1}{{\pi }_k}+\lambda \\ 0& =\sum _{i=1}^N{Q}_i(z_i=k)+\lambda {\pi }_k\\ {\pi }_k& =-\frac{1}{\lambda }\sum _{i=1}^N{Q}_i(z_i=k)\end{array}\text{\hspace{1em}(4.7-1)}$$
  $$\begin{array}{rl}0& =\sum _{j=1}^K\sum _{i=1}^N{Q}_i(z_i=k)+\lambda \sum _{k=1}^K{\pi }_k\\ 0& =\sum _{i=1}^{N}1+\lambda \\ \lambda & =-N\end{array}\text{\hspace{1em}(4.7-2)}$$
  所以
  $$\begin{array}{r}{\pi }_k=\frac{1}{M}\sum _{i=1}^N{Q}_i(z_i=k)\end{array}\text{\hspace{1em}(4.8)}$$
  综上所述：
  $$\begin{array}{rl}{\mathbf{\mu }}_{\mathbf{k}}& =\frac{{\sum }_{i=1}^N{Q}_i(z_i=k)({\mathbf{X}}_{\mathbf{i}})}{{\sum }_{i=1}^N{Q}_i(z_i=k)}\\ {\Sigma }_k& =\frac{{\sum }_{i=1}^N{Q}_i(z_i=k)({\mathbf{X}}_{\mathbf{i}}-{\mathbf{\mu }}_{\mathbf{k}})({\mathbf{X}}_{\mathbf{i}}-{\mathbf{\mu }}_{\mathbf{k}}{)}^T}{{\sum }_{i=1}^N{Q}_i(z_i=k)}\\ {\pi }_k& =\frac{1}{M}\sum _{i=1}^N{Q}_i(z_i=k)\end{array}$$
  其中，$Q_i(z_i=k)=p(z_i=k|{\mathbf{x}}_{\mathbf{i}};\theta )$。

4.2 EM算法的缺点

• 对先验的依赖性比较强
• 没有办法收敛到全局最值，仅能收敛到极值。

---

5. 流程图

后记

其实到这里EM算法基础部分就介绍完了,但是对与强迫症患者来说,$Q_i(z_i=j)$这种关键因子,居然是"凑"出来的,心里难免觉得有些别扭,下面一篇文章(Expectation-Maximum-Algorithm(EM算法之二))给出了另一种思考方法以及EM算法的收敛性证明.

---

参考文献

• 《西瓜书》
• 《统计学习方法》
• 《人人都懂EM算法》
• What is the expectation maximization algorithm?