EM算法

1. 在用最大似然原则求解一些图模型参数时，经常会遇到图模型含有隐变量的情况，导致很难简单使用极大似然估计。这类问题一般求助于基于迭代的EM算法。一般分为两步。第一步求期望，第二步最大化。实际就是第一步：利用旧的参数值构造原似然函数的一个下界，该下界实际就是一个期望；第二步：通过最大化下界（期望）来最大化原似然函数。因此叫做期望最大化算法。

2. 下面我们导出EM算法。已知观察数据 Y = { y 1 , . . . y N } Y=\{y_1,...y_N\} Y={y1​,...yN​}，和隐变量为 Z = { z 1 , . . . , z N } Z=\{z_1,...,z_N\} Z={z1​,...,zN​}。求图模型参数$\theta$。
   对数似然函数
   $$\begin{gathered} L(\theta )=logP(Y|\theta ) \\ =log\prod _{i=1}^{N}P(y_i|\theta ) \\ =\sum _{i=1}^{N}logP(y_i|\theta ) \\ =\sum _{i=1}^{N}log\sum _{z_i}P(y_i,z_i|\theta ) \\ =\sum _{i=1}^{N}log\sum _{z_i}P(z_i|y_i,{\theta }_t)\frac{P(y_i,z_i|\theta )}{P(z_i|y_i,{\theta }_t)} \end{gathered}$$
   利用杰森不等式(证据下界和KL分解是更一般化的视角)，对凹函数：
   $f(\sum w_i{x}_i)\ge \sum w_{i}f(x_i)$
   则：
   $$\begin{gathered} L(\theta )\ge \sum _{i=1}^N\sum _{z_i}P(z_i|y_i,{\theta }_t)log\frac{P(y_i,z_i|\theta )}{P(z_i|y_i,{\theta }_t)} \\ =\sum _{i=1}^N\sum _{z_i}P(z_i|y_i,{\theta }_t)log\frac{P(y_i,z_i|\theta )}{P(z_i|y_i,{\theta }_t)} \end{gathered}$$
   令$B(\theta ,{\theta }_t)=\sum _{i=1}^N\sum _{z_i}P(z_i|y_i,{\theta }_t)log\frac{P(y_i,z_i|\theta )}{P(z_i|y_i,{\theta }_t)}$
   则$L(\theta )\ge B(\theta ,{\theta }_t)$，即$B(\theta ,{\theta }_t)$是$L(\theta )$的下界，也叫证据下界ELOB。且当$\theta ={\theta }_t$时，$B(\theta ,{\theta }_t)=L(\theta )$。
   因此我们可以通过最大化$B(\theta ,{\theta }_t)$来最大化$L(\theta )$（来自于夹逼原理？还是其他的原因，从EM的更一般化的视角来看，log似然可以分解为证据下界和KL散度的和，证据下界由于$\theta$的变化增加时，KL散度也会增加）。
   $$\begin{gathered} \arg \underset{\theta }{\max }B(\theta ,{\theta }_t) \\ =\arg \underset{\theta }{\max }\sum _{i=1}^N\sum _{z_i}P(z_i|y_i,{\theta }_t)log\frac{P(y_i,z_i|\theta )}{P(z_i|y_i|{\theta }_t)} \\ =\arg \underset{\theta }{\max }\sum _{i=1}^N\sum _{z_i}P(z_i|y_i,{\theta }_t)logP(y_i,z_i|\theta ) \end{gathered}$$
   因此可得EM算法：
   (1) 初始化${\theta }_0$
   (2) 求期望：
   $Q(\theta ,{\theta }_t)=\sum _{i=1}^N\sum _{z_i}P(z_i|y_i,{\theta }_t)logP(y_i,z_i|\theta )$
   (此步有时候只写作评估$P(z_i|y_i,{\theta }_t)$)。
   (3) 最大化：
   ${\theta }_{t+1}=\arg \underset{\theta }{\max }Q(\theta ,{\theta }_t)$
   $Q(\theta ,{\theta }_t)=\sum _{i=1}^N\sum _{z_i}P(z_i|y_i,{\theta }_t)logP(y_i,z_i|\theta )$
   (4) 如果不收敛（可根据对数似然函数值或者参数值判断），重复2）3）。
   注意：最大化Q函数可以直观理解为，在知道隐变量的估计后验分布（基于$y_i$和$\theta$）后，可以认为隐变量已知，这时候只需最大化完全数据的log似然。由于知道的是分布，所以应该对log似然求期望。

3. 三硬币例子推导
   有三枚硬币，A,B,C。首先抛掷A，如果A为正面，然后抛掷B。如果A为反面则抛掷C。重复这个实验N次，记录B或C的结果。根据N次实验结果求A,B,C正面的概率$\pi ,p,q$。
   解：
   设观察数据为 Y = { y 1 , . . . , y N } Y=\{y_1,...,y_N\} Y={y1​,...,yN​}，隐变量为 Z = { z 1 , . . . , z N } Z=\{z_1,...,z_N\} Z={z1​,...,zN​}。
   则：
   $$\begin{gathered} P(y_i|\pi ,p,q)=\sum _{z_i}P(y_i,z_i|\pi ,p,q) \\ =\sum _{z_i}P(y_i|z_i,\pi ,p,q)P(z_i|\pi ,p,q) \\ =\pi p^{y_i}(1-p{)}^{1-y_i}+(1-\pi )q^{y_i}(1-q{)}^{1-y_i} \end{gathered}$$
   后验分布：
   $$\begin{gathered} P(z_i|y_i,{\pi }_t,p_t,q_t)=\frac{P(y_i,z_i|\pi ,p,q)}{P(y_i|{\pi }_t,p_t,q_t)} \\ =\frac{z_i{\pi }_t{p}_t^{y_i}(1-p_t{)}^{1-y_i}+(1-z_i)(1-{\pi }_t)q_t^{y_i}(1-q_t{)}^{1-y_i}}{{\pi }_t{p}_t^{y_i}(1-p_t{)}^{1-y_i}+(1-{\pi }_t)q_t^{y_i}(1-q_t{)}^{1-y_i}} \end{gathered}$$
   标记:
   ${\mu }_i^t=P(z_i=1|y_i,{\pi }_t,p_t,q_t)=\frac{\pi p^{y_i}(1-p{)}^{1-y_i}}{\pi p^{y_i}(1-p{)}^{1-y_i}+(1-\pi )q^{y_i}(1-q{)}^{1-y_i}}$
   则：
   $P(z_i=1|y_i,{\pi }_t,p_t,q_t)=1-{\mu }_i^t$
   $$\begin{gathered} Q(\theta ,{\theta }_t)=\sum _{i=1}^N\sum _{z_i}P(z_i|y_i,{\pi }_t,p_t,q_t)logP(y_i,z_i|\pi ,p,q) \\ =\sum _{i=1}^N[{\mu }_{i}log(\pi p^{y_i}(1-p{)}^{1-y_i})+(1-{\mu }_i)log((1-\pi )q^{y_i}(1-q{)}^{1-y_i})] \end{gathered}$$
   令一阶导数等于0：
   $\frac{\partial Q(\theta ,{\theta }_t)}{\partial \pi }=0$
   $\frac{\partial Q(\theta ,{\theta }_t)}{\partial p}=0$
   $\frac{\partial Q(\theta ,{\theta }_t)}{\partial q}=0$
   可得：
   ${\pi }_{t+1}=\frac{1}{N}\sum _{i=1}^N{\mu }_i^t$
   $p_{t+1}=\frac{\sum _{i=1}^N{\mu }_i^t{y}_i}{\sum _{i=1}^N{\mu }_i^t}$
   $q_{t+1}=\frac{\sum _{i=1}^N(1-{\mu }_i^t)y_i}{\sum _{i=1}^N(1-{\mu }_i^t)}$。