机器学习 - 期望最大（EM）算法

• 引述

  之前我们讲过 最大似然估计 与 最大后验概率估计，这两种方法都是根据已有的数据标签 y 对参数进行估计，适用于监督学习。但是当面对无监督学习时便无从下手，因为我们并不知道样本数据服从哪个类别标签的分布。而 期望最大（Expectation Maximization）法就可针对此种情况进行应用。

  EM 算法是一种迭代算法，用于含有 隐变量 的概率模型参数的极大似然估计，或极大后验概率估计（其中隐变量可视为类别标签）。我们可以将 EM 算法视为含有隐变量的概率模型参数的极大似然估计法。EM 算法的每次迭代由两步组成：E 步，求期望；M 步，求极大。

  稍微具体一点，EM 算法解决两个问题：

  （1）样本属于哪个分布；
  （2）并求出每一个分布的参数。

  下面看一个具体例子。

• 引例

  问题：

  假设有 3 枚硬币 A、B、C. 这些硬币正面出现的概率分别为 $\pi 、p、q$.
  进行如下抛硬币的实验，在每一次实验中：

  （1）先抛硬币 A，根据其结果，正面选择硬币 B，反面选择硬币 C；
  （2）而后抛选出的硬币，出现正面记作 1，反面记作 0.

  独立重复试验 n 次（这里，n=10），最终结果为：1, 1, 0, 1, 0, 0, 1, 0, 1, 1

  假设我们只能观测到结果 1 或 0，但无法观测硬币 A 的结果（即无法得知选择 B 或 C），问如何估计 3 硬币正面出现的概率 $\pi 、p、q$。

  ---

  解：

  三硬币的模型可写做（一次实验）：

  P ( y ∣ θ ) = ∑ z ∈ { B , C } P ( y , z ∣ θ ) = ∑ z ∈ { B , C } P ( z ∣ θ ) P ( y ∣ z , θ ) = π p y ( 1 − p ) 1 − y + ( 1 − π ) q y ( 1 − q ) 1 − y \begin{aligned} P(y|θ) =& \sum_{z∈\{B,C\}}P(y,z|θ)=\sum_{z∈\{B,C\}}P(z|θ)P(y|z,θ)\\ =& πp^y(1-p)^{1-y}+(1-π)q^y(1-q)^{1-y}\\ \end{aligned} P(y∣θ)==​z∈{B,C}∑​P(y,z∣θ)=z∈{B,C}∑​P(z∣θ)P(y∣z,θ)πpy(1−p)1−y+(1−π)qy(1−q)1−y​

  其中 y 是观测变量，表示实验结果 1 或 0；z 是隐变量，表示无法观测道德硬币 A 的结果；$\theta =(\pi ,p,q)$ 是模型的参数。

  将观测数据表示为 Y=(y₁,y₂,…,y_n)，未观测数据表示为 Z=(z₁,z₂,…,z_n)，则观测数据的似然函数为：

  $L(y;\theta )={\prod }_{j=1}^{n}P(y_j|\theta )={\prod }_{j=1}^n[\pi p^y(1-p{)}^{1-y}+(1-\pi )q^y(1-q{)}^{1-y}]$

  对数似然函数的极大似然估计为：

  $\overline{\theta }={}_{\theta }^{argmax}L(y;\theta )$

  此问题是没有解析解的，只有通过迭代的方法求解。EM 方法就是可以用于求解这个问题的一种迭代算法。

  ---

  下面给出 EM 算法的 求解过程：

  1）选取参数的初值，记作 ${\theta }^{(0)}=({\pi }^{(0)},p^{(0)},q^{(0)})$

  2）设第 i 次迭代的参数值为 ${\theta }^{(i)}=({\pi }^{(i)},p^{(i)},q^{(i)})$，则第 i+1 次的迭代如下：

  • E 步：计算在模型参数 ${\pi }^{(i)},p^{(i)},q^{(i)}$ 下观测数据 $y_j$，来自抛硬币 B 的概率：

    ${\mu }_j^{(i+1)}=\frac{{\pi }^{(i)}(p^{(i)}{)}^{y_j}(1-p^{(i)}{)}^{1-y_j}}{{\pi }^{(i)}(p^{(i)}{)}^{y_j}(1-p^{(i)}{)}^{1-y_j}+(1-\pi {)}^{(i)}(q^{(i)}{)}^{y_j}(1-q^{(i)}{)}^{1-y_j}}$

    （可以这样理解：硬币 B 与 硬币 C 都可以得到观测数据 y_j，所以产生 y_j 的概率为二者概率的和，要求结果来自硬币 B 的概率，就应用 硬币 B 的概率除以和。）

  • M 步：计算模型参数的新估计值：

    （1）${\pi }^{(i+1)}=\frac{1}{n}{\sum }_{j=1}^n{\mu }_j^{(i+1)}$

    （硬币 B 出现的概率等于硬币 A 正面出现的概率 $\pi$，所以对 10 次实验所得的 μ 求均值（期望）即得 $\pi$）

    ---

    （2）$p^{(i+1)}=\frac{{\sum }_{j=1}^n{\mu }_j^{(i+1)}{y}_j}{{\sum }_{j=1}^n{\mu }_j^{(i+1)}}$

    （分母为选择硬币 B 的概率，分子为选择硬币 B 且抛硬币 B 的结果为 正的概率；也可认为分母为选择硬币 B 的次数，分子为选择硬币 B 且抛硬币 B 的结果为正的次数；二者相比可得硬币 B 出现正面的概率 p）

    ---

    （3）$q^{(i+1)}=\frac{{\sum }_{j=1}^n[1-{\mu }_j^{(i+1)}]y_j}{{\sum }_{j=1}^n[1-{\mu }_j^{(i+1)}]}$

    （分母为选择硬币 C 的概率，分子为选择硬币 C 且抛硬币 C 的结果为 正的概率；也可认为分母为选择硬币 C 的次数，分子为选择硬币 C 且抛硬币 C 的结果为正的次数；二者相比可得硬币 C 出现正面的概率 q）

  ---

  根据观测结果 1, 1, 0, 1, 0, 0, 1, 0, 1, 1 进行代数计算：

  • 初始值 ${\pi }^{(0)}=0.5，p^{(0)}=0.5，q^{(0)}=0.5$

  • 第 1 次 迭代：

    E 步：${\mu }_j^{(1)}=0.5$

    M 步：${\pi }^{(1)}=0.5，p^{(1)}=0.6，q^{(1)}=0.6$

  • 第 2 次 迭代：

    E 步：${\mu }_j^{(2)}=0.5，j=1,2,...,10$

    M 步：${\pi }^{(2)}=0.5，p^{(2)}=0.6，q^{(2)}=0.6$

  • 结果：

    因为 ||θ²-θ¹||<ξ，其中 ξ 为较小的正数，所以迭代停止，于是得到模型参数 θ 的极大似然估计：

    ${\pi }^{\ast }=0.5，p^{\ast }=0.6，q^{\ast }=0.6$

  • 注意：

    当初始值为 ${\pi }^{(0)}=0.4，p^{(0)}=0.6，q^{(0)}=0.7$ 时，最终参数极大似然估计为：${\pi }^{\ast }=0.4064，p^{\ast }=0.5368，q^{\ast }=0.6432$，说明 EM 算法是 初始值敏感 的。

• 算法过程

  输入：观测变量数据 Y，隐变量 Z，联合分布 P(Y,Z|θ)，条件分布 P(Z|Y,θ)

  输出：模型参数 θ

  • 选择参数的初值 θ⁽⁰⁾，开始迭代

  • E 步：记 θ⁽ⁱ⁾ 为第 i 次迭代参数 θ 的估计值，在第 i+1 次迭代的 E 步，计算：
    $\begin{array}{rl}Q(\theta |{\theta }^i)=& E_z[logP(Y,Z|\theta )|Y,{\theta }^i]\\ =& \sum _{z}logP(Y,Z|\theta )P(Z|Y,{\theta }^i)\end{array}$

    其中，$P(Z|Y,{\theta }^{(i)})$ 是在给定观测数据 Y 和当前参数估计 θ⁽ⁱ⁾ 下隐变量数据 Z 的条件概率分布。

  • M 步：求使 $Q(\theta |{\theta }^i)$ 极大化的 θ，确定第 i+1 次迭代的参数的估计值 θⁱ⁺¹

    ${\theta }^{i+1}={}_{\theta }^{argmax}Q(\theta |{\theta }^i)$

  • 重复 E 步与 M 步，直到收敛，停止条件 $||{\theta }^2-{\theta }^1||<{\xi }_1，或||Q(\theta |{\theta }^{i+1})-Q(\theta |{\theta }^i)||<{\xi }_2，其中{\xi }_1，{\xi }_2为较小的正数$。

  其中 $Q(\theta |{\theta }^i)$ 是 EM 算法的核心，称为 Q 函数。

  • Q 函数定义：对数似然函数 P(Z|Y,θ) 关于在给定观测数据 Y 和当前参数 θ⁽ⁱ⁾ 下对隐变量数据 Z 的条件概率分布 P(Z|Y,θⁱ) 的期望称为 Q 函数，即：

    $Q(\theta |{\theta }^i)=E_z[logP(Y,Z|\theta )|Y,{\theta }^i]$

• 过程推导

  对于含有隐变量的概率模型，目标是极大化观测数据 Y 关于参数 θ 的对数似然函数，即极大化：

  $\begin{array}{rl}L(\theta )=& logP(Y|\theta )=log\sum _{z}P(Y,Z|\theta )\\ =& log⟮\sum _{z}P(Y|Z,\theta )P(Z|\theta )⟯\end{array}$

  ---

  要对其进行极大似然估计，其困难点在于包含 未观测数据 以及包含 和的对数

  而 EM 算法是通过迭代逐步近似极大化 L(θ) 的。我们希望后一次的估计值 θ⁽ⁱ⁺¹⁾ 能使 L(θ) 增加，即 L(θ⁽ⁱ⁺¹⁾) > L(θ⁽ⁱ⁾)，并逐步达到极大值。所以我们可以考虑两次的差值：

  $L({\theta }^{i+1})-L({\theta }^i)=log⟮{\sum }_{z}P(Y|Z,{\theta }^{i+1})P(Z|{\theta }^{i+1})⟯-log⟮{\sum }_{z}P(Y|Z,{\theta }^i)P(Z|{\theta }^i)$

  ---

  利用 Jensen 不等式：$log{\sum }_j{\lambda }_j{y}_j\ge {\sum }_j{\lambda }_{j}log{y}_j，其中{\lambda }_j\ge 0，{\sum }_j{\lambda }_j=1$

  $\begin{array}{rl}L({\theta }^{i+1})-L({\theta }^i)=& \log \sum _{z}P(Y,Z|{\theta }^{i+1})-log\sum _{z}P(Y,Z|{\theta }^i)\\ =& \log ⟮\sum _z\frac{P(Y,Z|{\theta }^{i+1})}{P(Y,Z|{\theta }^i)}⟯\\ =& \log ⟮\sum _{z}P(Z|Y,{\theta }^i)\frac{P(Y,Z|{\theta }^{i+1})}{P(Z|Y,{\theta }^i)P(Y,Z|{\theta }^i)}⟯\\ \ge & \sum _{z}P(Z|Y,{\theta }^i)\log \frac{P(Y,Z|{\theta }^{i+1})}{P(Z|Y,{\theta }^i)P(Y,Z|{\theta }^i)}\end{array}$

  ---

  令

  $J({\theta }^{i+1},{\theta }^i)=L({\theta }^i)+{\sum }_{z}P(Z|Y,{\theta }^{(i)})\log \frac{P(Y,Z|{\theta }^{i+1})}{P(Z|Y,{\theta }^{(i)})P(Y,Z|{\theta }^i)}$

  则

  $L({\theta }^{i+1})\ge J({\theta }^{i+1},{\theta }^i)$

  ---

  所以此时函数 $J({\theta }^{i+1},{\theta }^i)$ 相当于 $L({\theta }^{i+1})$ 的一个下界，且 $L({\theta }^i)=J({\theta }^i,{\theta }^i)$，所以，任何可以使 $J({\theta }^{i+1},{\theta }^i)$ 增大的 θ，也可以使 $L(\theta )$ 增大。为了使 $L(\theta )$ 有尽可能大的增长，选择 θⁱ⁺¹ 使 $J({\theta }^{i+1},{\theta }^i)$ 达到，即

  ${\theta }^{i+1}={}_{\theta }^{argmax}J({\theta }^{i+1},{\theta }^i)$

  ---

  将 $J({\theta }^{i+1},{\theta }^i)$ 中对于 θⁱ⁺¹ 是常数的项省去：

  $\begin{array}{rl}{\theta }^{i+1}=& \sum _{z}P(Z|Y,{\theta }^{(i)})P(Y,Z|{\theta }^{i+1})\\ =& {}_{\theta }^{argmax}Q({\theta }^{i+1}|{\theta }^i)\end{array}$

  也就是说，极大化 Q 函数相当于极大化两次迭代的对数似然函数 $L({\theta }^{i+1})-L({\theta }^i)$ 的差值，也就相当于在逐步近似最大化 $L(\theta )$.

  且等价于 EM 算法中的一次迭代。

  • 一种形式化地理解

    EM 的算法的过程，相当于：

    先固定 θ^old，调整 Q 函数使下界上升至 $L(\theta )$ 的值；然后固定 Q 函数，调整 θ 使下届达到最大值，此时为新的 θ；而后重复上面两步，直至收敛。

  • 混合模型

    混合模型是由多个参数不同的相似分布函数（称为分模型）组成（相当于多个盒子），且每个分模型对应一个概率（相当于各盒子被选择的概率）。首先根据概率选出分模型（选出隐变量），而后依据分模型自身的概率分布生成观测，进行多次以生成观测序列。

  • 极大-极大算法（广义EM算法，GEM）

    由 Q 函数以及隐变量 z 的分布的熵构成 F 函数，首先固定 θ 以极大化 F 函数，而后固定隐变量 z 的分布以极大化 F 函数。