EM算法

前提： EM算法需要两个东西，其解决方法就是先随机初始化${\theta }_A$,${\theta }_B$, 然后用去估计 Z， 然后基于 Z 按照最大似然概率去估计新的${\theta }_A$,${\theta }_B$，循环至收敛。

琴声不等式：
$\Phi$ 是凸函数，那么对内部元素求和之后取$\Phi$小于先取$\Phi$再求和

EM核心idea就是 通过 引入Q(zi) ，然后使用Jensen 不等式(将$log\sum$ —> $\sum log$ 形式，便于求导计算)，并 推出 非完全数据似然logP(Y)的下界函数J(Z, $\theta$)。

下界函数J(Z, $\theta$)，它是由Q(zi) 和 \theta组成二元函数。同时优化Q(zi) 和 \theta很困难，那么就分开优化。E步优化Q(zi) ，而M步优化\theta。

E步：引入Q(zi)分布时，Q(zi)的形式是个谜团，那如何选择合适的Q呢？答案就是在E步。E步目的是使得Jensen 等号成立。此时，Jensen 不等式 等号成立的条件就是 $Q(z_i)=P(z_i|y_i;\theta )$。而$P(z_i|yi;\theta )$形式很巧妙，就是先验P(z)在given $y_i数据和上一步参数\theta$下后验。
M步：在Q(zi) = $P(z_i|y_i$; $\theta$)时，问题退化到了最大似然估计。然后，使用求导=0，将模型的$\theta$更新

https://zhuanlan.zhihu.com/p/40991784