EM(Expectation Maximization)算法原理

一个简单的例子

在讲EM算法之前，我们先看一个简单的例子。假设我们有两个硬币，分别叫A和B，A和B不是一般的硬币，它们投掷出正面和反面的概率是不一定一样的，我们假设A和B投掷出正面的概率分别是$\theta_A$和$\theta_B$。

现在我们重复下面的过程5次：
- 从A和B中随机取1枚出来
- 将选出的硬币投掷10次
- 记录投掷出正面的次数

在这之后我们得到了投掷的结果如下表所示：

选中的硬币	正面次数	反面次数
B	5	5
A	9	1
A	8	2
B	4	6
A	7	3

我们想通过上面的实验来估计$\theta_A$和$\theta_B$。其实这很简单，针对硬币A来说，总共投掷了30次，投掷出正面的次数为9+8+7=24次，那么我们可以算出A投掷出正面的概率$\theta_A=24/30=0.8$，同理针对硬币B来说，共投掷了20次，投掷出正面的次数为5+4=9次，那么我们可以估计B投掷出正面的概率$\theta_A=9/20=0.45$。

EM算法思想

前面的那个问题很简单，假设我们把问题稍微改变一下，即现在我们只知道每次有几次投掷出正面，但是不知道每次投掷的是哪个硬币，也就是说我们只知道上表中第二列和第三列，那么我们怎么去估计$\theta_A$和$\theta_B$呢？

这个问题其实就是不完整数据的参数估计，为什么不完整呢，因为现在我们只能观察到正面反面，而观察不到是哪个硬币了。我们能观察到的参数叫做可观察变量，我们观察不到的就叫隐含变量。那么到底怎么解决这个问题呢？

1. 我们不知道$\theta_A$和$\theta_B$没关系，我们一开始就随便猜，$\theta_A^{(0)}=0.6$，$\theta_B^{(0)}=0.5$。
2. 根据这个猜测出的初始值和观测值，我们去估计每次选中A和B的概率。例如第一次投掷5个正面和5个反面，那么如果这个硬币是A，那么投掷出这个结果的概率是$C_{10}^5{\theta_A^{(0)}}^5{(1-\theta_A^{(0)})}^5=252*0.07776*0.01024=0.2007$，如果这个硬币是B，那么投掷出这个结果的概率是$C_{10}^5{\theta_B^{(0)}}^5{(1-\theta_B^{(0)})}^5=252*0.03125*0.03125=0.2461$。所以这枚硬币是A的概率是$0.2007/(0.2007+0.2461)=0.449 \approx0.45$，我们记为$Q(A)$，而这枚硬币是B的概率是$1-0.45=0.55$，我们记为$Q(B)$，根据我们算出来的$Q(A)$，$Q(B)$，我们来算投掷硬币的期望，即$Q(A)\times5=0.45\times5=0.225\approx0.22$，如上图中的表格所示。在得到了所有的期望之后，我们再根据这些期望值，重新推导出A投掷出正面和反面的概率，即$21.3/(21.3+8.4)$得出新一轮的$\theta_A$，同理得出新一轮的$\theta_B$。之后再根据得出的新一轮的$\theta_A$和$\theta_B$再去估计硬币是A或者B的概率，如此重复，直到收敛。这里，根据$\theta_A$和$\theta_B$去估计$Q(A)$和$Q(B)$就是E-step，而根据$Q(A)$和$Q(B)$重新去估计$\theta_A$和$\theta_B$就是M-step，重复E-step，M-step直到收敛就是EM算法的思想。