【机器学习】EM算法

机器学习系列之EM算法

我讲EM算法的大概流程主要三部分：需要的预备知识、EM算法详解和对EM算法的改进。

一、EM算法的预备知识

1、极大似然估计

（1）举例说明：经典问题——学生身高问题

　　我们需要调查我们学校的男生和女生的身高分布。 假设你在校园里随便找了100个男生和100个女生。他们共200个人。将他们按照性别划分为两组，然后先统计抽样得到的100个男生的身高。假设他们的身高是服从高斯分布的。但是这个分布的均值u和方差∂2我们不知道，这两个参数就是我们要估计的。记作θ=[u, ∂]T。

　　问题：我们知道样本所服从的概率分布的模型和一些样本，而不知道该模型中的参数。

 

 

　　我们已知的有两个：（1）样本服从的分布模型（2）随机抽取的样本  需要通过极大似然估计求出的包括：模型的参数

　　总的来说：极大似然估计就是用来估计模型参数的统计学方法。

（2）如何估计

问题数学化： （1）样本集X={x1,x2,…,xN} N=100 （2）概率密度：p(xi|θ)抽到男生i（的身高）的概率 100个样本之间独立同分布，所以我同时抽到这100个男生的概率就是他们各自概率的乘积。就是从分布是p(x|θ)的总体样本中抽取到这100个样本的概率，也就是样本集X中各个样本的联合概率，用下式表示：

 

这个概率反映了，在概率密度函数的参数是θ时，得到X这组样本的概率。 需要找到一个参数θ，其对应的似然函数L(θ)最大，也就是说抽到这100个男生（的身高）概率最大。这个叫做θ的最大似然估计量，记为

（3）求最大似然函数估计值的一般步骤

　　首先，写出似然函数：

　　　　　　　　

　　其次，对似然函数取对数，并整理：

　　　　　　　　

      

　　然后，求导数，令导数为0，得到似然方程；

　　最后，解似然方程，得到的参数即为所求。

（4）总结

 　　多数情况下我们是根据已知条件来推算结果，而极大似然估计是已经知道了结果，然后寻求使该结果出现的可能性最大的条件，以此作为估计值。

2、Jensen不等式

（1）定义

设f是定义域为实数的函数，如果对于所有的实数x。如果对于所有的实数x，f(x)的二次导数大于等于0，那么f是凸函数。  Jensen不等式表述如下：      如果f是凸函数，X是随机变量，那么：E[f(X)]>=f(E[X])  。当且仅当X是常量时，上式取等号。

（2）举例

图中，实线f是凸函数，X是随机变量，有0.5的概率是a，有0.5的概率是b。X的期望值就是a和b的中值了，图中可以看到E[f(X)]>=f(E[X])成立。         Jensen不等式应用于凹函数时，不等号方向反向。

二、传统EM算法详述

 1、问题描述

我们抽取的100个男生和100个女生样本的身高，但是我们不知道抽取的那200个人里面的每一个人到底是从男生的那个身高分布里面抽取的，还是女生的那个身高分布抽取的。 用数学的语言就是，抽取得到的每个样本都不知道是从哪个分布抽取的。 这个时候，对于每一个样本，就有两个东西需要猜测或者估计： （1）这个人是男的还是女的？（2）男生和女生对应的身高的高斯分布的参数是多少？

EM算法要解决的问题是： （1）求出每一个样本属于哪个分布 （2）求出每一个分布对应的参数

2、举例说明

身高问题使用EM算法求解步骤：

（1）初始化参数：先初始化男生身高的正态分布的参数：如均值=1.7，方差=0.1

（2）计算每一个人更可能属于男生分布或者女生分布；

（3）通过分为男生的n个人来重新估计男生身高分布的参数（最大似然估计），女生分布也按照相同的方式估计出来，更新分布。

（4）这时候两个分布的概率也变了，然后重复步骤（1）至（3），直到参数不发生变化为止。

3、EM算法详细解释

EM算法就是这样，假设我们想估计知道A和B两个参数，在开始状态下二者都是未知的，但如果知道了A的信息就可以得到B的信息，反过来知道了B也就得到了A。可以考虑首先赋予A某种初值，以此得到B的估计值，然后从B的当前值出发，重新估计A的取值，这个过程一直持续到收敛为止。

         EM的意思是“Expectation Maximization”，在我们上面这个问题里面，我们是先随便猜一下男生（身高）的正态分布的参数：如均值和方差是多少。例如男生的均值是1米7，方差是0.1米（当然了，刚开始肯定没那么准），然后计算出每个人更可能属于第一个还是第二个正态分布中的（例如，这个人的身高是1米8，那很明显，他最大可能属于男生的那个分布），这个是属于Expectation一步。有了每个人的归属，或者说我们已经大概地按上面的方法将这200个人分为男生和女生两部分，我们就可以根据之前说的最大似然那样，通过这些被大概分为男生的n个人来重新估计第一个分布的参数，女生的那个分布同样方法重新估计。这个是Maximization。然后，当我们更新了这两个分布的时候，每一个属于这两个分布的概率又变了，那么我们就再需要调整E步……如此往复，直到参数基本不再发生变化为止。

      这里把每个人（样本）的完整描述看做是三元组y_i={x_i,z_i1,z_i2}，其中，x_i是第i个样本的观测值，也就是对应的这个人的身高，是可以观测到的值。z_i1和z_i2表示男生和女生这两个高斯分布中哪个被用来产生值x_i，就是说这两个值标记这个人到底是男生还是女生（的身高分布产生的）。这两个值我们是不知道的，是隐含变量。确切的说，z_ij在x_i由第j个高斯分布产生时值为1，否则为0。例如一个样本的观测值为1.8，然后他来自男生的那个高斯分布，那么我们可以将这个样本表示为{1.8, 1, 0}。如果z_i1和z_i2的值已知，也就是说每个人我已经标记为男生或者女生了，那么我们就可以利用上面说的最大似然算法来估计他们各自高斯分布的参数。但是它们未知，因此我们只能用EM算法。

       咱们现在不是因为那个恶心的隐含变量（抽取得到的每个样本都不知道是从哪个分布抽取的）使得本来简单的可以求解的问题变复杂了，求解不了吗。那怎么办呢？人类解决问题的思路都是想能否把复杂的问题简单化。好，那么现在把这个复杂的问题逆回来，我假设已经知道这个隐含变量了，哎，那么求解那个分布的参数是不是很容易了，直接按上面说的最大似然估计就好了。那你就问我了，这个隐含变量是未知的，你怎么就来一个假设说已知呢？你这种假设是没有根据的。呵呵，我知道，所以我们可以先给这个给分布弄一个初始值，然后求这个隐含变量的期望，当成是这个隐含变量的已知值，那么现在就可以用最大似然求解那个分布的参数了吧，那假设这个参数比之前的那个随机的参数要好，它更能表达真实的分布，那么我们再通过这个参数确定的分布去求这个隐含变量的期望，然后再最大化，得到另一个更优的参数，……迭代，就能得到一个皆大欢喜的结果了。

       这时候你就不服了，说你老迭代迭代的，你咋知道新的参数的估计就比原来的好啊？为什么这种方法行得通呢？有没有失效的时候呢？什么时候失效呢？用到这个方法需要注意什么问题呢？呵呵，一下子抛出那么多问题，搞得我适应不过来了，不过这证明了你有很好的搞研究的潜质啊。呵呵，其实这些问题就是数学家需要解决的问题。在数学上是可以稳当的证明的或者得出结论的。那咱们用数学来把上面的问题重新描述下。（在这里可以知道，不管多么复杂或者简单的物理世界的思想，都需要通过数学工具进行建模抽象才得以使用并发挥其强大的作用，而且，这里面蕴含的数学往往能带给你更多想象不到的东西，这就是数学的精妙所在啊）

4、算法推导

已知：样本集X={x(1),…,x(m))}，包含m个独立的样本；

未知：每个样本i对应的类别z(i)是未知的（相当于聚类）；

输出：我们需要估计概率模型p(x,z)的参数θ；

目标：找到适合的θ和z让L(θ)最大。

要使L(θ)最大，我们可以不断最大化下界J，来使得L(θ)不断提高，达到最大值。

问题：

什么时候下界J(z,Q)与L(θ)在此点θ处相等？

根据Jensen不等式，自变量X是常数，等式成立。即：

 

由于，则可以得到：分子的和等于c

在固定参数θ后，使下界拉升的Q(z)的计算公式，解决了Q(z)如何选择的问题。这一步就是E步，建立L(θ)的下界。接下来的M步，就是在给定Q(z)后，调整θ，去极大化L(θ)的下界J。

5、算法流程

1）初始化分布参数θ； 重复以下步骤直到收敛：        

E步骤：根据参数初始值或上一次迭代的模型参数来计算出隐性变量的后验概率，其实就是隐性变量的期望。作为隐藏变量的现估计值：

　　　　

M步骤：将似然函数最大化以获得新的参数值：

　　　　

6、总结

期望最大算法（EM算法）是一种从不完全数据或有数据丢失的数据集（存在隐含变量）中求解概率模型参数的最大似然估计方法。

7、EM算法应用（高斯混合模型）

目的：随机变量X是有K个高斯分布混合而成，取各个高斯分布的概率为π1π2...πK，第i个高斯分布的均值为μi，方差为Σi。若观测到随机变量X的一系列样本x1,x2,...,xn，试估计参数π，μ，Σ。

1、直观求解：

对数似然函数：

 

由于在对数函数里面又有加和，我们没法直接用求导解方程的办法直接求得极大值。为了解决这个问题，我们分成两步。

 

第一步：估计数据由每个组份生成的概率

对于每个样本xi，它由第k个组份生成的概率为：

 

上式中的μ和Σ也是待估计的值，因此采样迭代法：在计算γ(i,k)时假定μ和Σ已知；γ(i,k)亦可看成组份k在生成数据xi时所做的贡献。

 

第二步：估计每个组份的参数

对于所有的样本点，对于组份k而言，可看做生成了这些点。组份k是一个标准的高斯分布，利用上面的结论：

 

 

2、EM方法求解：

E-step:

 

M-step：将多项分布和高斯分布的参数带入

 

 

对均值求偏导：

 

 

令上式等于0，解的均值：

 

 

高斯分布的方差：求偏导，等于0

 

 

多项分布的参数：

考察M-step的目标函数，对于φ，删除常数项：

 

有：

 

由于多项分布的概率和为1，建立拉格朗日方程：

 

求偏导，等于0;

from:https://www.cnblogs.com/Gabby/p/5344658.html

       http://blog.csdn.net/zouxy09/article/details/8537620