关于EM算法

EM算法的简介

1.什么是EM算法

最大期望算法（Expectation-maximization algorithm，又译为期望最大化算法），是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐性变量。
最大期望算法经过两个步骤交替进行计算，
第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然估计值；
第二步是最大化（M），最大化在E步上求得的最大似然值来计算参数的值。M步上找到的参数估计值被用于下一个E步计算中，这个过程不断交替进行。

2.举例

比如说抛硬币的例子，如果说有两个硬币A和B，每次抛之前知道是A还是B，那么，可能的结果会如下图所示：

但，如果要是在抛硬币之前，不知道硬币的种类，那么情况就会变得更复杂了，在不知道硬币的前提下，那么硬币的种类就成了一个隐形的变量，具体如下图：
在这种情况下，我们可以如上图所示，这样来解决这个问题，既然在丢硬币之前不知道硬币到底是A还是B，那么我们可以事先先假定一个这样的隐形变量为z，然后设定初始A硬币出现正面的概率p（A）为0.6，硬币出现正面的概率p（B）为0.5，那么就可以按照上图，根据抽样几次的结果，用极大似然估计出每一次Z的值，即具体是A还是B，然后再反过来算p（A）和p（B），最后更新，以此循环，直到收敛即可求得最后的概率。

3.基本的公式推导