机器学习之EM算法

1.1 极大似然函数

         极大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。 一般说来，事件A发生的概率与某一未知参数θ有关，θ取值不同，则事件A发生的概率P(A/θ)也不同，当我们在一次试验中事件A发生了，则认为此时的值θ应是t的一切可能取值中使P(A/θ)达到最大的那一个，极大似然估计法就是要选取这样的t值作为参数t的估计值，使所选取的样本在被选的总体中出现的可能性最大。

         极大似然估计法原理就是固定样本观测值（x1,x2,...xn），在θ可能的取值范围内挑选一个值使得似然函数L(θ)达到最大。这个参数值θ1就做为未知参数的估计值，即取θ1使得L(x1,x2,...xn;θ1)=max L(x1,x2,...xn;θ)，这样得到的θ1就称为参数最大似然估计值。

         此时使用极大似然估计便能估计出模型中的参数。但此时存在隐变量【即假设X为观测变量，Z为隐含变量，则（X,Z）为完全数据，θ为需要估计的参数，对于完全数据，（X,Z）的似然函数为P(X,Z/θ)】，那么就不能用极大似然估计，EM算法就是含有隐变量的概率模型参数的极大似然估计法，或极大后验估计法。

1.2 EM的引入

        参数估计中的参数本身依赖于数据的完整特征，但若只有部分特征X，因此要引入隐变量Z才能建立θ与X，Z之间的关系。什么是隐变量？为什么要引入隐变量？对隐变量的理解是理解EM算法的第一步。

1.3 EM算法

        EM算法是期望最大(Expectation Maximization)算法的简称，EM算法是一种启发式的迭代算法，在每一步的迭代过程中，主要分为2步：即求期望步骤和最大化步骤。反复构造新的下限，然后进一步求解。

        给总体X，设X1,X2,X3,....,Xn为来自总体X的训练样本，找到每个样本隐含的变量Z，使得P(X,Z)最大。最大似然估计为

L(θ) =   = 

        EM是一种解决存在隐含变量优化问题的有效方法。不能直接最大化L(θ)，我们可以不断地建立L的下界（E步），然后优化下界（M步）。

        对于每一个样本i，让  表示该样本隐变量Z的某种分布，满足。

        则         (1)

                           =   (2)

                               (3)

      注：(2)、(3)利用了Jensen不等式，即：

        函数为凹函数：   或 f(E(X))E(f(X))

        函数为凸函数：   或 f(E(X))E(f(X))

        其中，对于任意的，。

        要使(3)等式成立，需要让随机变量为常数(注：设D为常数，E(D)=D)，即：。c为常数，不依赖Z。我们知道，那么也就有，（多个等式分子分母相加不变，这个认为每个样例的两个概率比值都是c），那么有下式：

          

                      

                      

         至此，得出了隐变量Z满足的分布。在确定之后，调整参数θ使得L(θ)取得极大。

            固定参数θ后，的计算公式为后验概率，解决了如何选择的问题。该步为E步，建立L(θ)的下界。接下来M步，给定后，调整θ，去极大化L(θ)的下界。

           一般EM步骤：

                    循环直至收敛或稳定{

                                E：对于每一个i，计算

                                                

                                M：计算

                                                 

                     }

说明：参数的初值可任意选择，但注意EM算法对初值敏感。

              K-means是一种Hard EM算法。

              E步骤是固定参数优化隐分布， M步骤是固定隐分布优化参数，这就是广义EM算法了。 

先验概率：事情还没有发生，要求这件事情发生的可能性的大小。

后验概率：事情已经发生，要求这件事情发生的原因是由某个因素引起的可能性的大小。