EM算法的原理推导及解释

EM算法的原理推导及解释

本质上，EM算法针对于存在明显可疑的隐藏变量z，该变量影响着直观的样本数据的分布情况（即：方差、均值等），但是我们又无法得知和计算出准确的隐藏变量z。

于是，我们采用迭代的方式，设定已知模型的参数$\theta$初值，然后结合已有的{X_n,Y_n}样本信息将隐藏变量z的期望以累计的形式进行表示出$\mathbf{Q}\left(\theta |{\theta }_{\mathbf{n}}\right)$，然后进一步对当前的参数$\theta$偏导求解更新新一轮的参数$\theta$，该迭代过程即为EM算法。

前置知识：极大似然估计(Maximum Likelihood）

令D_c表示训练集中第c类样本的组合的集合，假设这些样本是独立的，则参数θ_c对于数据集D_c的最大似然估计：
$$\begin{gathered} \stackrel{\wedge }{{\theta }_{\mathbf{c}}}=\underset{{\theta }_{\mathbf{C}}}{\mathbf{a}\mathbf{r}\mathbf{g}\max \mathbf{L}\mathbf{L}\left({\theta }_{\mathbf{c}}\right)} \\ =\log \mathbf{P}\left({\mathbf{D}}_{\mathbf{c}}|{\theta }_{\mathbf{c}}\right) \\ =\sum _{{\mathbf{x}ϵ\mathbf{D}}_{\mathbf{C}}}\log \mathbf{P}\left(\mathbf{x}|{\theta }_{\mathbf{c}}\right) \end{gathered}$$
极大似然估计是试图在θ_c所有可能的取值中，找到一个使数据出现的“可能性”最大值。极大似然估计一般在机器学习领域中，主要用来估计样本分布的方差和均值、或者其他参数变量。

例如，在连续属性情形下，假设概率密度函数$\mathbf{p}\left(\mathbf{x}|\mathbf{c}\right)\sim \mathbf{N}\left({\mu }_{\mathbf{c}},{\delta }_{\mathbf{c}}^2\right)$，则参数${\mu }_{\mathbf{c}}$和${\delta }_{\mathbf{c}}^2$的极大似然估计为：
$$\begin{gathered} {\stackrel{\wedge }{\mu }}_{\mathbf{c}}=\frac{1}{|{\mathbf{D}}_{\mathbf{c}}|}\sum _{{\mathbf{x}ϵ\mathbf{D}}_{\mathbf{c}}}\mathbf{x} \\ {\stackrel{\wedge }{\delta }}_{\mathbf{c}}^2=\frac{1}{|{\mathbf{D}}_{\mathbf{c}}|}\sum _{{\mathbf{x}ϵ\mathbf{D}}_{\mathbf{c}}}\left(\mathbf{x}-{\stackrel{\wedge }{\mu }}_{\mathbf{c}}\right){\left(\mathbf{x}-{\stackrel{\wedge }{\mu }}_{\mathbf{c}}\right)}^{\mathbf{T}} \end{gathered}$$
上述式子表明，通过局部样本的极大似然估计得到的均值和方差就是全体样本的正态分布情况。

这种参数化的方法虽能使类条件概率估计变得相对简单，但是，在实际情况中，x的分布很难做到相互独立。于是，我们提出了引入隐藏变量z，z的意义在于它暗中指导着D_c中各个类别的样本分布情况，假设已经存在样本x_i，z的作用是告诉我们x_i属于哪一个类别，但是，我们却无法直观地得知z到底是什么。

令X表示已观测变量集，Z表示隐变量集，若预对模型参数θ做极大似然估计，则应最大化对数似然函数：
$$\mathbf{L}\mathbf{L}\left(\mathbf{\Theta }|\mathbf{X},\mathbf{Z}\right)=\ln \mathbf{P}\left(\mathbf{X},\mathbf{Z}|\mathbf{\Theta }\right)$$
由于Z是隐变量，上式无法直接求解。此时我们可以通过对Z计算期望，来最大化已观测数据的对数“边际似然”(marginal likelihood)（这个思想，非常非常重要！）：
$$\mathbf{L}\mathbf{L}\left(\mathbf{\Theta }|\mathbf{X}\right)=\ln \mathbf{P}\left(\mathbf{X}|\mathbf{\Theta }\right)=\ln \sum _{\mathbf{Z}}\mathbf{P}\left(\mathbf{X},\mathbf{Z}|\mathbf{\Theta }\right)$$

核心部分：期望最大化算法(Expectation Maximum)

以初始值${\theta }^0$为起点（就是为需要估计的θ、μ等原始参数设定初始值），可迭代执行以下步骤直至收敛：

• 基于${\theta }^{\mathbf{t}}$推断隐变量Z的期望，记为${\mathbf{Z}}^{\mathbf{t}}$。（E步）
• 基于已观测变量X和${\mathbf{Z}}^{\mathbf{t}}$对参数$\theta$做极大似然估计，记为${\theta }^{\mathbf{t}+1}$。（M步）
• 这就是EM算法的原型。

实例：EM求解“三硬币”模型的完整推导及解释

原问题：

简化版：

由上图的分析可知，我们已有的数据为B/C的投掷结果，但是不知道具体属于B/C，而分类B/C取决于A的结果，A为正面，则该结果是B的投掷结果；A为反面，则结果是C的投掷结果。

所以，本题中的隐变量Z：Z=(z₁ ,…,z_N) 且 z 只有两种可能取值1和0，z_j表示第j次试验，A的投掷结果；此外，实验结果Y：Y=(y₁,…,y_N),y_j代表第j次实验B/C的投掷结果；θ表示参数π，ρ，q。

• 对于第j次试验，这里的z为变量，$\theta$和${\mathbf{y}}_{\mathbf{j}}$看作已知常量：

$$\begin{gathered} \mathbf{P}\left({\mathbf{y}}_{\mathbf{i}}|\theta \right)=\sum _{\mathbf{z}}\mathbf{P}\left({\mathbf{y}}_{\mathbf{j}},\mathbf{z}|\theta \right) \\ =\sum _{\mathbf{z}}\mathbf{P}\left(\mathbf{z}|{\mathbf{y}}_{\mathbf{j}},\theta \right)\mathbf{P}\left({\mathbf{y}}_{\mathbf{j}}|\mathbf{z},\theta \right) \\ =\mathbf{P}\left(\mathbf{z}=1|{\mathbf{y}}_{\mathbf{j}},\theta \right)\mathbf{P}\left({\mathbf{y}}_{\mathbf{j}}|\mathbf{z}=1,\theta \right)+\mathbf{P}\left(\mathbf{z}=0|{\mathbf{y}}_{\mathbf{j}},\theta \right)\mathbf{P}\left({\mathbf{y}}_{\mathbf{j}}|\mathbf{z}=0,\theta \right) \\ =\{\begin{array}{c}\pi \mathbf{p}+\left(1-\pi \right)\mathbf{q},\mathbf{i}\mathbf{f}{\mathbf{y}}_{\mathbf{j}}=1\\ \pi \left(1-\mathbf{p}\right)+\left(1-\pi \right)\left(1-\mathbf{q}\right),\mathbf{i}\mathbf{f}{\mathbf{y}}_{\mathbf{j}}=0\end{array} \\ ={\pi \mathbf{p}}^{{\mathbf{y}}_{\mathbf{j}}}{\left(1-\mathbf{p}\right)}^{1-{\mathbf{y}}_{\mathbf{j}}}+\left(1-\pi \right){\mathbf{q}}^{{\mathbf{y}}_{\mathbf{j}}}{\left(1-\mathbf{q}\right)}^{1-{\mathbf{y}}_{\mathbf{j}}} \end{gathered}$$

• E步，求隐变量Z的期望：
  Q ( θ ∣ θ n ) = ∑ z P ( z ∣ Y , θ n ) ln ⁡ P ( Y , z ∣ θ )    = ∑ j = 1 N { ∑ z P ( z ∣ y j , θ n ) ln ⁡ P ( y j , z ∣ θ ) }    = ∑ j = 1 N { P ( z = 1 ∣ y j , θ ) P ( y j ∣ z = 1 , θ ) + P ( z = 0 ∣ y j , θ ) P ( y j ∣ z = 0 , θ ) } \mathbf{Q}\left( \mathbf{\theta }|\mathbf{\theta }_{\mathbf{n}} \right) =\sum_{\mathbf{z}}{\mathbf{P}\left( \mathbf{z}|\mathbf{Y},\mathbf{\theta }_{\mathbf{n}} \right) \ln \mathbf{P}\left( \mathbf{Y},\mathbf{z}|\mathbf{\theta } \right)} \\ \,\, =\sum_{\mathbf{j}=1}^{\mathbf{N}}{\left\{ \sum_{\mathbf{z}}{\mathbf{P}\left( \mathbf{z}|\mathbf{y}_{\mathbf{j}},\mathbf{\theta }_{\mathbf{n}} \right) \ln \mathbf{P}\left( \mathbf{y}_{\mathbf{j}},\mathbf{z}|\mathbf{\theta } \right)} \right\}} \\ \,\, =\sum_{\mathbf{j}=1}^{\mathbf{N}}{\left\{ \mathbf{P}\left( \mathbf{z}=1|\mathbf{y}_{\mathbf{j}},\mathbf{\theta } \right) \mathbf{P}\left( \mathbf{y}_{\mathbf{j}}|\mathbf{z}=1,\mathbf{\theta } \right) +\mathbf{P}\left( \mathbf{z}=0|\mathbf{y}_{\mathbf{j}},\mathbf{\theta } \right) \mathbf{P}\left( \mathbf{y}_{\mathbf{j}}|\mathbf{z}=0,\mathbf{\theta } \right) \right\}} Q(θ∣θn​)=z∑​P(z∣Y,θn​)lnP(Y,z∣θ)=j=1∑N​{z∑​P(z∣yj​,θn​)lnP(yj​,z∣θ)}=j=1∑N​{P(z=1∣yj​,θ)P(yj​∣z=1,θ)+P(z=0∣yj​,θ)P(yj​∣z=0,θ)}
  先求（这里的n代表第n次迭代的结果，当前是第n+1次迭代的计算，所以这里的参数${\theta }_{\mathbf{n}}$作为常量，参数${\theta }_{\mathbf{n}}$包括${\pi }_{\mathbf{n}}$、${\mathbf{p}}_{\mathbf{n}}^{{\mathbf{y}}_{\mathbf{j}}}$和${\mathbf{q}}_{\mathbf{n}}^{{\mathbf{y}}_{\mathbf{j}}}$）：
  $$\mathbf{P}\left(\mathbf{z}|{\mathbf{y}}_{\mathbf{j}},{\theta }_{\mathbf{n}}\right)=\{\begin{array}{l}\frac{{\pi }_{\mathbf{n}}{\mathbf{p}}_{\mathbf{n}}^{{\mathbf{y}}_{\mathbf{j}}}{\left(1-{\mathbf{p}}_{\mathbf{n}}\right)}^{1-{\mathbf{y}}_{\mathbf{j}}}}{{\pi }_{\mathbf{n}}{\mathbf{p}}_{\mathbf{n}}^{{\mathbf{y}}_{\mathbf{j}}}{\left(1-{\mathbf{p}}_{\mathbf{n}}\right)}^{1-{\mathbf{y}}_{\mathbf{j}}}+\left(1-{\pi }_{\mathbf{n}}\right){\mathbf{q}}_{\mathbf{n}}^{{\mathbf{y}}_{\mathbf{j}}}{\left(1-{\mathbf{q}}_{\mathbf{n}}\right)}^{1-{\mathbf{y}}_{\mathbf{j}}}}={\mu }_{\mathbf{j},\mathbf{n}},\mathbf{i}\mathbf{f}\mathbf{z}=1\\ 1-{\mu }_{\mathbf{j},\mathbf{n}},\mathbf{i}\mathbf{f}\mathbf{z}=0\end{array}$$
  再求：
  $$\mathbf{P}\left({\mathbf{y}}_{\mathbf{i}},\mathbf{z}|\theta \right)=\{\begin{array}{c}{\pi \mathbf{p}}^{{\mathbf{y}}_{\mathbf{j}}}{\left(1-\mathbf{p}\right)}^{1-{\mathbf{y}}_{\mathbf{j}}},\mathbf{i}\mathbf{f}\mathbf{z}=1\\ \left(1-\pi \right){\mathbf{q}}^{{\mathbf{y}}_{\mathbf{j}}}{\left(1-\mathbf{q}\right)}^{1-{\mathbf{y}}_{\mathbf{j}}},\mathbf{i}\mathbf{f}\mathbf{z}=0\end{array}$$
  因此，最终的$\mathbf{Q}\left(\theta |{\theta }_{\mathbf{n}}\right)$形式为：
  $$\mathbf{Q}\left(\theta |{\theta }_{\mathbf{n}}\right)=\sum _{\mathbf{j}=1}^{\mathbf{N}}\left\{{\mu }_{\mathbf{j},\mathbf{n}}\ln \left[{\pi \mathbf{p}}^{{\mathbf{y}}_{\mathbf{j}}}{\left(1-\mathbf{p}\right)}^{1-{\mathbf{y}}_{\mathbf{j}}}\right]+\left(1-{\mu }_{\mathbf{j},\mathbf{n}}\right)\ln \left[\left(1-\pi \right){\mathbf{q}}^{{\mathbf{y}}_{\mathbf{j}}}{\left(1-\mathbf{q}\right)}^{1-{\mathbf{y}}_{\mathbf{j}}}\right]\right\}$$

• M步，根据$\mathbf{Q}\left(\theta |{\theta }_{\mathbf{n}}\right)$函数对$\pi \text{、}\mathbf{p}\text{、}\mathbf{q}$求偏导：
  $$\begin{gathered} \frac{\partial \mathbf{Q}\left(\theta |{\theta }_{\mathbf{n}}\right)}{\partial \pi }=\sum _{\mathbf{j}=1}^{\mathbf{N}}\left\{\frac{{\mu }_{\mathbf{j},\mathbf{n}}\ln \left[{\pi \mathbf{p}}^{{\mathbf{y}}_{\mathbf{j}}}{\left(1-\mathbf{p}\right)}^{1-{\mathbf{y}}_{\mathbf{j}}}\right]+\left(1-{\mu }_{\mathbf{j},\mathbf{n}}\right)\ln \left[\left(1-\pi \right){\mathbf{q}}^{{\mathbf{y}}_{\mathbf{j}}}{\left(1-\mathbf{q}\right)}^{1-{\mathbf{y}}_{\mathbf{j}}}\right]}{\partial \pi }\right\} \\ =\sum _{\mathbf{j}=1}^{\mathbf{N}}\left\{{\mu }_{\mathbf{j},\mathbf{n}}\frac{{\mathbf{p}}^{{\mathbf{y}}_{\mathbf{j}}}{\left(1-\mathbf{p}\right)}^{1-{\mathbf{y}}_{\mathbf{j}}}}{{\pi \mathbf{p}}^{{\mathbf{y}}_{\mathbf{j}}}{\left(1-\mathbf{p}\right)}^{1-{\mathbf{y}}_{\mathbf{j}}}}+\left(1-{\mu }_{\mathbf{j},\mathbf{n}}\right)\frac{-{\mathbf{q}}^{{\mathbf{y}}_{\mathbf{j}}}{\left(1-\mathbf{q}\right)}^{1-{\mathbf{y}}_{\mathbf{j}}}}{\left(1-\pi \right){\mathbf{q}}^{{\mathbf{y}}_{\mathbf{j}}}{\left(1-\mathbf{q}\right)}^{1-{\mathbf{y}}_{\mathbf{j}}}}\right\} \\ =\sum _{\mathbf{j}=1}^{\mathbf{N}}\left\{\frac{{\mu }_{\mathbf{j},\mathbf{n}}-\pi }{\pi \left(1-\pi \right)}\right\} \\ =\frac{\left({\sum }_{\mathbf{j}=1}^{\mathbf{N}}{\mu }_{\mathbf{j},\mathbf{n}}\right)-\mathbf{n}\pi }{\pi \left(1-\pi \right)} \end{gathered}$$

  $$\begin{gathered} \frac{\partial \mathbf{Q}\left(\theta |{\theta }_{\mathbf{n}}\right)}{\partial \mathbf{p}}=\sum _{\mathbf{j}=1}^{\mathbf{N}}\left\{\frac{{\mu }_{\mathbf{j},\mathbf{n}}\ln \left[{\pi \mathbf{p}}^{{\mathbf{y}}_{\mathbf{j}}}{\left(1-\mathbf{p}\right)}^{1-{\mathbf{y}}_{\mathbf{j}}}\right]+\left(1-{\mu }_{\mathbf{j},\mathbf{n}}\right)\ln \left[\left(1-\pi \right){\mathbf{q}}^{{\mathbf{y}}_{\mathbf{j}}}{\left(1-\mathbf{q}\right)}^{1-{\mathbf{y}}_{\mathbf{j}}}\right]}{\partial \mathbf{p}}\right\} \\ =\sum _{\mathbf{j}=1}^{\mathbf{N}}\left\{{\mu }_{\mathbf{j},\mathbf{n}}\frac{\pi \left[{\mathbf{y}}_{\mathbf{j}}{\mathbf{p}}^{{\mathbf{y}}_{\mathbf{j}}-1}{\left(1-\mathbf{p}\right)}^{1-{\mathbf{y}}_{\mathbf{j}}}-{\mathbf{p}}^{{\mathbf{y}}_{\mathbf{j}}}\left(1-{\mathbf{y}}_{\mathbf{j}}\right){\left(1-\mathbf{p}\right)}^{-{\mathbf{y}}_{\mathbf{j}}}\right]}{{\pi \mathbf{p}}^{{\mathbf{y}}_{\mathbf{j}}}{\left(1-\mathbf{p}\right)}^{1-{\mathbf{y}}_{\mathbf{j}}}}+0\right\} \\ =\sum _{\mathbf{j}=1}^{\mathbf{N}}\left\{\frac{{\mu }_{\mathbf{j},\mathbf{n}}\left({\mathbf{y}}_{\mathbf{j}}-\mathbf{p}\right)}{\mathbf{p}\left(1-\mathbf{p}\right)}\right\} \\ =\frac{\left({\sum }_{\mathbf{j}=1}^{\mathbf{N}}{\mu }_{\mathbf{j},\mathbf{n}}{\mathbf{y}}_{\mathbf{j}}\right)-\left(\mathbf{p}{\sum }_{\mathbf{j}=1}^{\mathbf{N}}{\mu }_{\mathbf{j},\mathbf{n}}\right)}{\mathbf{p}\left(1-\mathbf{p}\right)} \end{gathered}$$

  $$\frac{\partial \mathbf{Q}\left(\theta |{\theta }_{\mathbf{n}}\right)}{\partial \mathbf{q}}=...$$

  • 然后令$\frac{\partial \mathbf{Q}\left(\theta |{\theta }_{\mathbf{n}}\right)}{\partial \pi }\text{、}\frac{\partial \mathbf{Q}\left(\theta |{\theta }_{\mathbf{n}}\right)}{\partial \mathbf{p}}\text{、}\frac{\partial \mathbf{Q}\left(\theta |{\theta }_{\mathbf{n}}\right)}{\partial \mathbf{q}}$分别等于0，求解得到$\pi \text{、}\mathbf{p}\text{、}\mathbf{q}$的取值：
    $$\pi =\frac{1}{\mathbf{n}}\sum _{\mathbf{j}=1}^{\mathbf{N}}{\mu }_{\begin{array}{c}\mathbf{j},\mathbf{n}\end{array}}\text{，}\mathbf{p}=\frac{{\sum }_{\mathbf{j}=1}^{\mathbf{N}}{\mu }_{\mathbf{j},\mathbf{n}}{\mathbf{y}}_{\mathbf{j}}}{{\sum }_{\mathbf{j}=1}^{\mathbf{N}}{\mu }_{\mathbf{j},\mathbf{n}}}\text{，}\mathbf{q}=\frac{{\sum }_{\mathbf{j}=1}^{\mathbf{N}}\left(1-{\mu }_{\mathbf{j},\mathbf{n}}\right){\mathbf{y}}_{\mathbf{j}}}{{\sum }_{\mathbf{j}=1}^{\mathbf{N}}\left(1-{\mu }_{\mathbf{j},\mathbf{n}}\right)}$$

  • 重复迭代上述过程，直至收敛。

  测试结果：

  • 对于初值π=0.5, p=0.5, q=0.5，得到参数估计结果分别为π=0.5, p=0.6, q=0.6。

  • 对于初值π=0.4, p=0.6, q=0.7，得到参数估计结果分别为π=0.4064, p=0.5368, q=0.6432。

  • EM算法与初值的选择有关。