浅谈EM算法

        最近学习Grabcut，看了EM算法的博客，将我的理解整理了一下：

      首先看一下参数估计中点估计的一种方法：最大似然估计。

设总体X的分布函数的形式已知，但它的一个或多个参数未知，借助于总体X的样本来估计未知参数的值，该问题就是参数的点估计问题。我们收集到的样本都是独立同分布的，分布律P{X=x}=p(x|θ),我们按照一定的概率得到了一批样本，样本x1,x2....xn的联合分布律为p(x1|θ)*p(x2|θ)*.....*p(xn|θ).则观测值发生的概率为L(θ)=L(X1，X2.....Xn;θ)=p(x1|θ)*p(x2|θ)*.....*p(xn|θ),这个概率随着θ的取值变化而变化，它是θ的函数，L(θ)称为样本的似然函数。

        最大似然估计法：现在已经取到样本值【x1,x2......xn】，这表明取到这一样本值的概率L(θ)比较大，所以在θ可能的取值范围内挑选一个值使得似然函数L(θ)达到最大。这个参数值θ1就作为未知参数的估计值，即取θ1使得L(X1，X2.....Xn;θ1)=maxL(X1，X2.....Xn;θ),这样得到的θ1就称为参数θ最大似然估计值。

  为什么要引入EM算法呢？？

       参数估计中的参数本身是依赖于数据的完整特征，但是如果只观察了部分特征X，因此需要引入隐藏特征Z才能建立起θ与X、Z之间的关系。

       问题：已知男、女身高分别符合两个参数不同的高斯分布。但只知道每个样本的身高，不知道样本标签（即是男还是女），此时，就无法对两个高斯分布的参数做出准确估计。

      目标：找到合适的θ和Z使得似然函数最大

         将每个样本看做二元组（Xi,Zi），其中，Xi是第i个样本的观测值，Zi是第i个样本的标签（隐藏值）【若Zi也已知，就可根据极大似然估计获得他们各自的高斯分布参数】，但若未知，就只能用EM算法了。

        解决方法：先假设男生的身高分布的参数，利用该假设将样本分类，经得到的样本重新计算高斯分布参数继续分类，迭代多次就可得到两类样本的大概分类。

EM算法

给定的训练样本是，样例间独立，我们想找到每个样例隐含的类别z，能使得p(x,z)最大。p(x,z)的最大似然估计如下：

      

    EM是一种解决存在隐含变量优化问题的有效方法。竟然不能直接最大化，我们可以不断地建立的下界（E步），然后优化下界（M步）。这句话比较抽象，看下面的。

      对于每一个样例i，让表示该样例隐含变量z的某种分布，满足的条件是。（如果z是连续性的，那么是概率密度函数，需要将求和符号换做积分符号）。比如要将班上学生聚类，假设隐藏变量z是身高，那么就是连续的高斯分布。如果按照隐藏变量是男女，那么就是伯努利分布了。

可以由前面阐述的内容得到下面的公式：

      

（2）到（3）利用了Jensen不等式， 根据Jensen不等式，要想让等式成立，需要让随机变量变成常数值，这里得到：

      

      c为常数，不依赖于。对此式子做进一步推导，我们知道，那么也就有，（多个等式分子分母相加不变，这个认为每个样例的两个概率比值都是c），那么有下式：

      

至此，我们推出了在固定其他参数后，的计算公式就是后验概率，解决了如何选择的问题。这一步就是E步，建立的下界。接下来的M步，就是在给定后，调整，去极大化的下界（在固定后，下界还可以调整的更大）。那么一般的EM算法的步骤如下：

循环重复直到收敛 {       （E步）对于每一个i，计算                          （M步）计算