机器学习笔记(十七)——EM算法的推导

原创 2016年10月22日 12:45:00

一、Jensen 不等式

    在EM算法的推导过程中,用到了数学上的Jensen不等式,这里先来介绍一下。
若Ω是有限集合{x1,x2,,xn},而μ是Ω上的正规计数测度,则不等式的一般形式可以简单地用和式表示:

φ(i=1ng(xi)λi)i=1nφ(g(xi))λi171

  其中λ1+λ2++λn=1,λi0

  若φ是凹函数,只需把不等式符号调转。主要参考文献【1】
  

二、EM算法推导

    面对一个含有隐含变量的概率模型,目标是极大化观测数据Y关于参数θ的对数似然函数,即极大化:

L(θ)=logP(Y;θ)=logzP(Y,Z;θ)=logzP(Y|Z;θ)P(Z;θ)

    事实上,EM算法是通过迭代逐步极大化L(θ)的。假设在第i次迭代后θ的估计值是θ(i)。我们希望新的估计值θ能使L(θ)增加,即L(θ)>L(θ(i)),并逐步达到极大值。为此考虑两者的差:
L(θ)L(θ(i))=log(zP(Y|Z;θ)P(Z;θ))logP(Y;θ(i))=log(zP(Y|Z;θ(i))P(Y|Z;θ)P(Z;θ)P(Y|Z;θ(i)))logP(Y;θ(i))zP(Y|Z;θ(i))logP(Y|Z;θ)P(Z;θ)P(Y|Z;θ(i))logP(Y;θ(i))=zP(Y|Z;θ(i))logP(Y|Z;θ)P(Z;θ)P(Y|Z;θ(i))P(Y;θ(i))

上式利用了Jensen不等式,在17-1式中, 令 φlogP(Y;θ(i))λi,则可得上述推导。注意log为凹函数,不等号要改变方向


B(θ,θ(i))=L(θ(i))+zP(Y|Z;θ(i))logP(Y|Z;θ)P(Z;θ)P(Y|Z;θ(i))P(Y;θ(i))172

则:
L(θ)B(θ,θ(i))

那么,B(θ,θ(i))L(θ)的一个下界,由17-2知道:
L(θ(i))=B(θ(i),θ(i))

因此,任何可以使B(θ,θ(i))增大的θ,都可使L(θ)增大,选择θ(i+1)使B(θ,θ(i))达到极大,即:
θ(i+1)=argmaxθB(θ,θ(i))

现在求θ(i+1) 的表达式,省去对于θ而言都是常数的项:
θ(i+1)=argmaxθ(L(θ(i))+zP(Y|Z;θ(i))logP(Y|Z;θ)P(Z;θ)P(Y|Z;θ(i))P(Y;θ(i)))=argmaxθ(zP(Y|Z;θ(i))logP(Y|Z;θ)P(Z;θ))=argmaxθ(zP(Y|Z;θ(i))logP(Y,Z;θ))=argmaxθQ(θ,θ(i))

EM算法并不能保证全局最优值,直观解释如图所示。
这里写图片描述

参考文献

http://wiki.mbalib.com/wiki/%E8%A9%B9%E6%A3%AE%E4%B8%8D%E7%AD%89%E5%BC%8F

从最大似然到EM算法浅解

从最大似然到EM算法浅解 zouxy09@qq.com http://blog.csdn.net/zouxy09          机器学习十大算法之一:EM算法。能评得上十大之一,让人听起来觉得挺N...
  • zouxy09
  • zouxy09
  • 2013年01月24日 13:14
  • 279670

数据挖掘十大算法----EM算法(最大期望算法)

概念 在统计计算中,最大期望(EM)算法是在概率(probabilistic)模型中寻找参数最大似然估计或者最大后验估计的算法,其中概率模型依赖于无法观测的隐藏变量(Latent Variable)。...
  • u011067360
  • u011067360
  • 2014年04月14日 20:48
  • 16224

EM算法再次总结

说明:此篇是作者对“EM”的第二次总结,因此可以算作对上次总结的查漏补缺以及更进一步的理解,所以很多在第一次总结中已经整理过的内容在本篇中将不再重复,如果你看的有些吃力,那建议你看下我的第一次总结: ...
  • xueyingxue001
  • xueyingxue001
  • 2016年07月25日 09:41
  • 3825

EM算法介绍及总结

本文摘自统计学习方法 李航著 清华大学出版社EM算法介绍及总结EM算法是一种迭代的算法,1977年由Dempster等人提出,用于含有隐变量(Hidden Variable)的概率模型参数的极大似然估...
  • u011784495
  • u011784495
  • 2017年05月16日 13:52
  • 611

浅谈EM算法的两个理解角度

最近在写毕业论文,由于EM算法在我的研究方向中经常用到,所以把相关的资料又拿出来看了一下,有了一些新的理解与感悟。在此总结一下。EM算法即“期望极大算法”。学过机器学习的朋友都知道EM算法分两步:E步...
  • njustzj001
  • njustzj001
  • 2016年03月20日 16:31
  • 3469

简单易学的机器学习算法——EM算法

一、EM算法简介 EM算法是期望极大(Expectation Maximization)算法的简称,是一种解决存在隐含变量优化问题的有效方法。...
  • google19890102
  • google19890102
  • 2015年06月12日 14:30
  • 4842

EM算法原理详解

http://blog.csdn.net/pipisorry/article/details/42550815EM算法有很多的应用,最广泛的就是GMM混合高斯模型、聚类、HMM、基于概率的PLSA模型...
  • pipisorry
  • pipisorry
  • 2015年01月09日 09:44
  • 11805

EM算法-数学原理及其证明

参考http://blog.csdn.net/zouxy09/article/details/8537620 参考 http://www.cnblogs.com/jerrylead 之前介绍了E...
  • yzheately
  • yzheately
  • 2016年04月16日 20:52
  • 10789

EM算法学习(Expectation Maximization Algorithm)

http://www.cnblogs.com/mindpuzzle/archive/2013/04/05/2998746.html EM算法学习(Expectation Maxi...
  • hechenghai
  • hechenghai
  • 2014年12月12日 16:47
  • 8628

EM算法原理

在聚类中我们经常用到EM算法(i.e. Expectation - Maximization)进行参数估计, 在该算法中我们通过函数的凹/凸性,在expectation 和maximization两步...
  • abcjennifer
  • abcjennifer
  • 2012年11月10日 23:49
  • 80089
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习笔记(十七)——EM算法的推导
举报原因:
原因补充:

(最多只允许输入30个字)