R语言与点估计学习笔记（EM算法与Bootstrap法）

一、EM算法

      EM算法是一种在观测到数据后，用迭代法估计未知参数的方法。可以证明EM算法得到的序列是稳定单调递增的。这种算法对于截尾数据或参数中有一些我们不感兴趣的参数时特别有效。

   EM算法的步骤为：

       E-step（求期望）：在给定y及theta=theta（i）的条件下，求关于完全数据对数似然关于潜在变量z的期望

       M-step（求极值）：求上述期望关于theta的最大值theta（i+1）

   重复以上两步，直至收敛即可得到theta的MLE。

   从上面的算法我们可以看到对于一个参数的情况，EM仅仅只是求解MLE的一个迭代算法。M-step做得就是optimize函数做得事情。对于EM算法，我们也没有现成的求解函数（这个是自然的），我们一样可以通过人机交互的办法处理。

先举一个一元的例子：

           设一次实验可能有4个结果，发生概率分别为0.5+theta/4, 0.25-theta/4 ,0.25-theta/4 ,theta/4.其中theta在0,1之间。现进行了197次实验，结果发生的次数分别为：125,18,20,34，求theta的MLE。

           计算出theta（i+1）=（195theta（i）+68）/（197theta（i）+144）

           为什么是这个结果，请翻阅王兆军《数理统计讲义》p43-p44

          我们用简单的