机器学习笔记＜二＞：EM算法详解

往期文章回顾：

---

引入

假设存在一些观测数据(相互独立，符合某种概率分布)，那么如何通过观测到的数据来估计模型的参数(可以理解为已知结果反推原因)？最常用的方法是极大似然估计(MLE):

• 首先是计算出基于每个观测数据的似然并将其作为估计参数$\theta$的函数(本质上是PDF，概率密度函数)；
• 将上述的每个观测数据的似然组合就构成了似然函数；
• 接下来就是最大化问题，即似然函数最大时的参数就是我们要估计的参数$\hat{\theta }$。

假设有N个样本数据，每个数据为n维，每个观测数据的似然函数可以使用概率密度函数描述为：$p({\mathbf{x}}^{(\mathbf{i})}|\theta )$，假设观测数据iid，那么整体观测数据的似然函数可以表示为：
$$L(\mathbf{x}|\theta )=\mathbf{p}(\mathbf{x}|\theta )=\prod _{\mathbf{i}=1}^{\mathbf{N}}\mathbf{p}({\mathbf{x}}^{(\mathbf{i})}|\theta )\text{\hspace{1em}(1)}$$

因为MLE的问题就可以表示为：

$$\hat{\theta }=\underset{\theta }{\mathrm{argmax}}L(\mathbf{x}|\theta )\text{\hspace{1em}(2)}$$

更常用的是log似然函数：
$$\begin{array}{rl}log(L(\mathbf{x}|\theta ))& =log(\prod _{i=1}^{N}p(x^{(i)}|\theta ))\\ & =\sum _{i=1}^{N}log(p(x^{(i)}|\theta ))(3)\end{array}$$

对于常用的MLE，若该似然函数解析且关于参数易求导，那就可以轻易求得模型的参数；但实际情况中因为还可能存在隐变量等因素使得想要得到解析的似然函数并不简单，因此，在此引入EM算法解决隐变量问题。

EM算法

算法思想

从表面上看，上述的MLE的似然函数中似乎只有$\theta$一个未知参数(对于一维变量来说，x作为观测数据已知)，使用常规手段(求导)即可计算出最佳参数$\hat{\theta }$；但实际中某些含有隐变量的似然函数的最优化问题很难进行，若此时假设隐变量存在且已知，那么就可以简化似然函数(因为此时已知观测数据和隐变量，只有$\theta$未知，而此时就是要计算$\theta$，就转换为一般的MLE问题，计算多未知变量转换为计算单未知变量的问题)。前面只是固定隐变量$z$而对参数$\theta$进行优化，但实际情况中$z$和$\theta$二者相互依赖、相互影响，按照同样的方法需要固定$\theta$对$z$进行优化。因此EM算法的本质是$z$和$\theta$交替优化的过程，是一种启发式的迭代方法。

举例说明：假设在一个学校中抽取200名学生进行身高估计，假设学生身高符合正态分布，于是使用MLE对抽取的200个样本进行参数估计，但是存在的问题是男、女生的身高不一样，男生身高一般情况下高于女生，所以理论上应该将男生和女生的身高分开估计，各抽取100个。而实际情况中不知道抽取抽取的样本是男生还是女生，因此学生的身高就作为观测数据，性别就作为隐变量(未观测数据)。在这种情况下，我们需要估计的问题包括两个：一个是这个样本是男生还是女生，二是男生和女生对应身高的正态分布参数分别是多少。这种情况下常规的极大似然估计就不太好使了，要估计男女身高分布，那必须先估计该学生是男还是女，反过来要估计该学生是男还是女，又得从身高来判断（男生身高相对较高，女生身高相对较矮）。但二者相互依赖，直接用极大似然估计没法算，于是就引入了EM算法……

算法推导

假设观测数据为 X = { x ( 1 ) , x ( 2 ) , x ( 3 ) … … x ( N ) } \bf X=\{x^{(1)},x^{(2)},x^{(3)}……x^{(N)} \} X={x(1),x(2),x(3)……x(N)},对用的隐变量 Z = { z ( 1 ) , z ( 2 ) , z ( 3 ) … … z ( N ) } \bf Z=\{z^{(1)},z^{(2)},z^{(3)}……z^{(N)} \} Z={z(1),z(2),z(3)……z(N)}，隐变量${\mathbf{z}}^{(\mathbf{i})}$的分布$Q(z)$满足：${\sum }_{z^i}Q(z)$=1，完全数据为$S=(\mathbf{X},\mathbf{Z})$，样本模型参数为$\theta$，于是式(3)可以改写为：$$\begin{array}{rl}log(L(\mathbf{X}|\theta ))& =log(\prod _{i=1}^{N}p({\mathbf{x}}^{(\mathbf{i})}|\theta ))\\ & =\sum _{i=1}^{N}log(p({\mathbf{x}}^{(\mathbf{i})}|\theta ))\\ & =\sum _{i=1}^{N}log(\sum _{z^i}p({\mathbf{x}}^{(\mathbf{i})},{\mathbf{z}}^{(\mathbf{i})}|\theta ))\\ & =\sum _{i=1}^{N}log(\sum _{z^i}{Q}_i(z^i)\frac{p({\mathbf{x}}^{(\mathbf{i})},{\mathbf{z}}^{(\mathbf{i})}|\theta ))}{Q_i(z^i)})(4)\\ & \ge \sum _{i=1}^N\sum _{z^i}{Q}_i(z^i)log(\frac{p({\mathbf{x}}^{(\mathbf{i})},{\mathbf{z}}^{(\mathbf{i})}|\theta )}{Q_i(z^i)})(5)\end{array}$$

因为最后需要使用MLE对含隐变量的似然函数$log(L(\mathbf{X}|\theta ))$进行z最优化求解，因此式(4)和式(5)必须取得等号，因为log函数是一个凸函数，因此由Jensen不等式可知：$log(E(x))\ge E(log(x))$,当且仅当$x=E(x)$时取等号，即此时x为常数，对应到式(5)中取等号的条件为：$$\frac{p({\mathbf{x}}^{(\mathbf{i})},{\mathbf{z}}^{(\mathbf{i})}|\theta )}{Q_i(z^i)})=c\text{\hspace{1em}(6)}$$

将式(6)变形为：$$Q_i(z^i)=\frac{1}{c}p({\mathbf{x}}^{(\mathbf{i})},{\mathbf{z}}^{(\mathbf{i})}|\theta )\text{\hspace{1em}(7)}$$

在式(7)两边同时计算关于z积分得：$$\begin{array}{rl}1& =\frac{1}{c}{\int }_{\mathbf{z}}p({\mathbf{x}}^{(\mathbf{i})},{\mathbf{z}}^{(\mathbf{i})}|\theta )\mathbf{d}\mathbf{z}\\ & =\frac{1}{c}p({\mathbf{x}}^{(\mathbf{i})}|\theta )\end{array}\text{\hspace{1em}(8)}$$

式(8)得出：$$c=p({\mathbf{x}}^{(\mathbf{i})}|\theta )\text{\hspace{1em}(9)}$$

将式(9)代入式(7)可得：$$\begin{array}{rl}{Q}_i(z^i)& =\frac{p({\mathbf{x}}^{(\mathbf{i})},{\mathbf{z}}^{(\mathbf{i})}|\theta )}{p({\mathbf{x}}^{(\mathbf{i})}|\theta )}\\ & =p({\mathbf{z}}^{(\mathbf{i})}|{\mathbf{x}}^{(\mathbf{i})};\theta )\end{array}\text{\hspace{1em}(10)}$$

因此可以将式(10)作为Jensen不等式取等号的条件。则式(4)和式(5)就可以改写为：$$\begin{array}{rl}log(L(\mathbf{X}|\theta ))& =\sum _{i=1}^{N}log(\sum _{z^i}{Q}_i(z^i)\frac{p({\mathbf{x}}^{(\mathbf{i})},{\mathbf{z}}^{(\mathbf{i})}|\theta ))}{Q_i(z^i)})\\ & =\sum _{i=1}^N\sum _{z^i}{Q}_i(z^i)log(\frac{p({\mathbf{x}}^{(\mathbf{i})},{\mathbf{z}}^{(\mathbf{i})}|\theta )}{Q_i(z^i)})(11)\end{array}$$

由式(11)可知，第二个加和符号就是对$log(\frac{p({\mathbf{x}}^{(\mathbf{i})},{\mathbf{z}}^{(\mathbf{i})}|\theta )}{Q_i(z^i)})$的加权求和，也即是$log(\frac{p({\mathbf{x}}^{(\mathbf{i})},{\mathbf{z}}^{(\mathbf{i})}|\theta )}{Q_i(z^i)})$的期望，即E步，求解期望值。

因此根据上述表述，欲进行多变量的MLE，就需要一个变量一个变量的进行优化，于是就形成了如下的EM算法：

• 首先是初始化参数${\theta }^0$;
• $E$步：计算$z$关于$x,\theta$的后验概率：$$Q_i(z^i)=p({\mathbf{z}}^{(\mathbf{i})}|{\mathbf{x}}^{(\mathbf{i})};\theta )$$
• $M$步：再对式(11)进行关于参数$\theta$的似然函数求解：$$\begin{array}{rl}\hat{\theta }& =\underset{\theta }{\mathrm{argmax}}log(L(\mathbf{X}|\theta ))\\ & =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^N\sum _{z^i}{Q}_i(z^i)log(\frac{p({\mathbf{x}}^{(\mathbf{i})},{\mathbf{z}}^{(\mathbf{i})}|\theta )}{Q_i(z^i)})\end{array}$$
  通过上述过程的不断迭代即可获得最优化参数$\hat{\theta }$

总结

1. EM算法是基于MLE进行的(M步)，因为模型中含有两个参数，并且相互联系，因此采用启发式的迭代方法进行计算，以寻求最佳模型参数；
2. EM算法是很多算法的解决思路，比如k_means聚类算法，初始化k个聚类中心的过程就是EM算法的E步，而经计算后将每个样本归属到每一个cluster的过程是EM算法的M步，重复E步和M步就能得到聚类中心，不同的是k_means属于"硬聚类"，而EM算法对应的方法属于"软聚类"，k_means可以视为EM算法的简化版(聚类算法会在后期更新)；
3. EM算法的具体应用有HMM、 GMM、SMO、FCM以及上面说到的k_means聚类算法。

EM算法的收敛性详细以及具体案例请参照李航老师的《统计学习方法》，另外上面推导过程中用到的凸函数、Jensen不等式、边缘概率等公式请查阅相关资料

[1].机器学习及其运用
[2].《统计学习方法》
[3].数学推导+纯Python实现机器学习算法22：EM算法