(EM算法)The EM Algorithm
EM是我一直想深入学习的算法之一,第一次听说是在NLP课中的HMM那一节,为了解决HMM的参数估计问题,使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。
下面主要介绍EM的整个推导过程。
1. Jensen不等式
回顾优化理论中的一些概念。设f是定义域为实数的函数,如果对于所有的实数x,,那么f是凸函数。当x是向量时,如果其hessian矩阵H是半正定的(
),那么f是凸函数。如果
或者
,那么称f是严格凸函数。
Jensen不等式表述如下:
如果f是凸函数,X是随机变量,那么
特别地,如果f是严格凸函数,那么当且仅当
,也就是说X是常量。
如果用图表示会很清晰:
图中,实线f是凸函数,X是随机变量,有0.5的概率是a,有0.5的概率是b。(就像掷硬币一样)。X的期望值就是a和b的中值了,图中可以看到成立。
当f是(严格)凹函数当且仅当-f是(严格)凸函数。
2. EM算法
给定的训练样本是,样例间独立,我们想找到每个样例隐含的类别z,能使得p(x,z)最大。p(x,z)的最大似然估计如下:
第一步是对极大似然取对数,第二步是对每个样例的每个可能类别z求联合分布概率和。但是直接求一般比较困难,因为有隐藏变量z存在,但是一般确定了z后,求解就容易了。
EM是一种解决存在隐含变量优化问题的有效方法。竟然不能直接最大化,我们可以不断地建立
的下界(E步),然后优化下界(M步)。这句话比较抽象,看下面的。
对于每一个样例i,让表示该样例隐含变量z的某种分布,
满足的条件是
。(如果z是连续性的,那么
是概率密度函数,需要将求和符号换做积分符号)。比如要将班上学生聚类,假设隐藏变量z是身高,那么就是连续的高斯分布。如果按照隐藏变量是男女,那么就是伯努利分布了。
可以由前面阐述的内容得到下面的公式:
(1)到(2)比较直接,就是分子分母同乘以一个相等的函数。(2)到(3)利用了Jensen不等式,考虑到是凹函数(二阶导数小于0),而且
就是的期望(回想期望公式中的Lazy Statistician规则)
(1) X是离散型随机变量,它的分布律为 |
对应于上述问题,Y是,X是
,
是
,g是
到
的映射。这样解释了式子(2)中的期望,再根据凹函数时的Jensen不等式:
可以得到(3)。
这个过程可以看作是对求了下界。对于
的选择,有多种可能,那种更好的?假设
已经给定,那么
的值就决定于
和
了。我们可以通过调整这两个概率使下界不断上升,以逼近
的真实值,那么什么时候算是调整好了呢?当不等式变成等式时,说明我们调整后的概率能够等价于
了。按照这个思路,我们要找到等式成立的条件。根据Jensen不等式,要想让等式成立,需要让随机变量变成常数值,这里得到:
c为常数,不依赖于。对此式子做进一步推导,我们知道
,那么也就有
,(多个等式分子分母相加不变,这个认为每个样例的两个概率比值都是c),那么有下式:
至此,我们推出了在固定其他参数后,
的计算公式就是后验概率,解决了
如何选择的问题。这一步就是E步,建立
的下界。接下来的M步,就是在给定
后,调整
,去极大化
的下界(在固定
后,下界还可以调整的更大)。那么一般的EM算法的步骤如下:
循环重复直到收敛 { (E步)对于每一个i,计算 (M步)计算 |
那么究竟怎么确保EM收敛?假定和
是EM第t次和t+1次迭代后的结果。如果我们证明了
,也就是说极大似然估计单调增加,那么最终我们会到达最大似然估计的最大值。下面来证明,选定
后,我们得到E步
这一步保证了在给定时,Jensen不等式中的等式成立,也就是
然后进行M步,固定,并将
视作变量,对上面的
求导后,得到
,这样经过一些推导会有以下式子成立:
解释第(4)步,得到时,只是最大化
,也就是
的下界,而没有使等式成立,等式成立只有是在固定
,并按E步得到
时才能成立。
第(5)步利用了M步的定义,M步就是将调整到
,使得下界最大化。因此(5)成立,(6)是之前的等式结果。
这样就证明了会单调增加。一种收敛方法是
不再变化,还有一种就是变化幅度很小。
再次解释一下(4)、(5)、(6)。首先(4)对所有的参数都满足,而其等式成立条件只是在固定,并调整好Q时成立,而第(4)步只是固定Q,调整
,不能保证等式一定成立。(4)到(5)就是M步的定义,(5)到(6)是前面E步所保证等式成立条件。也就是说E步会将下界拉到与
一个特定值(这里
)一样的高度,而此时发现下界仍然可以上升,因此经过M步后,下界又被拉升,但达不到与
另外一个特定值一样的高度,之后E步又将下界拉到与这个特定值一样的高度,重复下去,直到最大值。
如果我们定义
从前面的推导中我们知道,EM可以看作是J的坐标上升法,E步固定
,优化
,M步固定
优化
。
3. 重新审视混合高斯模型
我们已经知道了EM的精髓和推导过程,再次审视一下混合高斯模型。之前提到的混合高斯模型的参数和
计算公式都是根据很多假定得出的,有些没有说明来由。为了简单,这里在M步只给出
和
的推导方法。
E步很简单,按照一般EM公式得到:
简单解释就是每个样例i的隐含类别为j的概率可以通过后验概率计算得到。
等于0时,得到
在和
确定后,分子上面的一串都是常数了,实际上需要优化的公式是:
这个优化问题我们很熟悉了,直接构造拉格朗日乘子。
求导得,
等于0,得到
的推导也类似,不过稍微复杂一些,毕竟是矩阵。结果在之前的混合高斯模型中已经给出。
4. 总结
如果将样本看作观察值,潜在类别看作是隐藏变量,那么聚类问题也就是参数估计问题,只不过聚类问题中参数分为隐含类别变量和其他参数,这犹如在x-y坐标系中找一个曲线的极值,然而曲线函数不能直接求导,因此什么梯度下降方法就不适用了。但固定一个变量后,另外一个可以通过求导得到,因此可以使用坐标上升法,一次固定一个变量,对另外的求极值,最后逐步逼近极值。对应到EM上,E步估计隐含变量,M步估计其他参数,交替将极值推向最大。EM中还有“硬”指定和“软”指定的概念,“软”指定看似更为合理,但计算量要大,“硬”指定在某些场合如K-means中更为实用(要是保持一个样本点到其他所有中心的概率,就会很麻烦)。
另外,EM的收敛性证明方法确实很牛,能够利用log的凹函数性质,还能够想到利用创造下界,拉平函数下界,优化下界的方法来逐步逼近极大值。而且每一步迭代都能保证是单调的。最重要的是证明的数学公式非常精妙,硬是分子分母都乘以z的概率变成期望来套上Jensen不等式,前人都是怎么想到的。
在Mitchell的Machine Learning书中也举了一个EM应用的例子,明白地说就是将班上学生的身高都放在一起,要求聚成两个类。这些身高可以看作是男生身高的高斯分布和女生身高的高斯分布组成。因此变成了如何估计每个样例是男生还是女生,然后在确定男女生情况下,如何估计均值和方差,里面也给出了公式,有兴趣可以参考。
评论
#1楼 2011-04-06 16:45joelike
#2楼 2011-05-22 17:56LeftNotEasy
#3楼[楼主] 2011-05-24 16:46JerryLead
呵呵,得到了大牛的认可,比较模糊的公式是从讲义上截图截下来的,稍微清晰点就是word的公式编辑器。看到Leo Zhang的用Latex的公式更加漂亮,打算有空学学。
#4楼 2011-05-24 16:52LeftNotEasy
大牛不敢当,我也涉及这个领域时间很短,呵呵,以后多多讨论:)
#5楼 2011-05-31 22:48耒子之心
#6楼 2011-07-24 21:41emanlee
#7楼 2011-07-26 12:13goolee[未注册用户]
#8楼 2011-07-29 18:29mirth[未注册用户]
www.seanborman.com/publications/EM_algorithm.pdf
#9楼[楼主] 2011-07-29 20:19JerryLead
你看的很仔细,如果你看的再仔细一点话,或者看了前面或后面的文章就会发现,这里的大部分文章内容都来自于Stanford的ML课程讲义(当然我在前面或者后面的文章都提到了,当然也有来自其他论文的内容,当然也有我自己的认识和理解的内容。
你给的链接也是tutorial,也算是抄袭别人的论文,但这些东西又不是拿去发表或者赚钱。另外,blog的内容其实都很随意。如果你认为我抄袭了你的东西或者我拿别人的东西去发表了,欢迎指出。
#10楼 2011-08-15 11:14wchaor[未注册用户]
#11楼[楼主] 2011-08-21 21:41JerryLead
请google "stanford em algorithm"第一个或 http://www.stanford.edu/class/cs229/notes/
#12楼 2011-09-01 11:51求答[未注册用户]
#13楼[楼主] 2011-09-01 15:27JerryLead
请看这一篇《混合高斯模型(Mixtures of Gaussians)和EM算法》,不同的模型有不同的p(zi|xi;θ)
#14楼 2011-10-31 14:12huangshujia
楼主,你的个性我欣赏!!呵呵!
#15楼 2011-12-02 19:41chinabing
#16楼 2011-12-19 00:08asdffdas
#17楼 2012-01-02 15:45bmfire[未注册用户]
#18楼 2012-01-13 14:21flyf[未注册用户]
#19楼[楼主] 2012-01-28 11:06JerryLead
这里的凸凹性翻译自原文,convex我翻译为凸,concave为凹。与我们在高数里面学的有点不一样,高数里正好相反,凹凸性在优化理论里又不太一样,这里我终于原文了。
#20楼[楼主] 2012-01-28 12:37JerryLead
我对这个问题理解不深,谈谈感觉吧。感觉这个不仅仅是EM算法的问题了,是一般优化问题是否有极值、最大值、最小值的问题了。这里M步的优化函数是连续的,固定Qi(z^(i))后,就变成求log(p(x^(i),z^(i);theta)的极大值了,log是凹函数,有极大值。
#21楼 2012-04-07 13:59南窗
请问你是如何理解EM最大似然估计中的θ,模型中似乎没有明确指明θ的意义
#22楼 2012-04-18 13:17duanchw37
#23楼 2012-05-03 19:56duguyixiaono1
#24楼 2012-06-15 17:30conspicuous
#25楼 2012-11-23 16:28CanaanShen
#26楼 2012-12-13 22:32liyitan
#27楼 2013-07-15 17:22tianyanfl
#28楼 2013-11-10 20:17zss19910423
#29楼 2013-12-06 16:48林羽飞扬
#30楼 2013-12-12 21:37痞子寇
#31楼 2014-01-14 12:49sunjunli
#32楼 2014-02-20 22:46cc_jony
#33楼 2014-03-07 14:10元子@speed
#34楼 2014-04-17 14:58欣然未央
#35楼 2014-04-18 21:57折花饮酒
#36楼 2014-07-04 16:30ziranjuan
我倒是期待您多少抄一些有用的东西与大家分享,而不是在这里指摘付出辛勤劳动的博主,没有冒犯之意,请见谅!
#37楼 2014-07-15 10:07chq
#38楼 2014-07-23 15:57Transposition
楼主是用Word的公式编辑器写,然后用Word发布的吗?
#39楼 2014-08-11 14:32MissBoy
#40楼 2014-10-14 10:51keyalone
先解释第一个问号吧! 首先是Q(z(i);theta),在参数theta不变的情况下,当选定Q时,能使p(x(i),z(i);theta)/Q(z(i);theta) 为常数的概率为1.即等式成立。如果你理解jensen inequality的话,这个就是正确的。 第二个问题
要想使不等式中的等式成立Q必须取这个值,当Q取这个值时,等式就成立,这个与jensen不等式的成立没有关系,即使Q为任意值,这个不等式就成立,但是有个特殊情况,那就是当Q为上面说的特殊值时,等式成立,也就是下界最大的情况。 由于符号复杂,就没有书写符号了
#41楼 2014-11-06 16:58siluwb
#42楼 2014-12-22 20:38xx ee
#43楼 2015-02-01 21:47扭定乾坤
#44楼 2015-02-02 11:24读博好痛苦
#45楼 2015-03-17 11:02牛虻07
一直到下面的那幅图这一段
问一下:
在这一段的表达中,有E[f(X)]>=f[E(X)],但下面的图中,f(a)与f(b)连线的中点,是E[f(X)]吗?E[f(x)]=积分(p(x)*f(x))不应该是这样吗?
但E[f(x)]=积分(p(x)*f(x))不等于1/2[f(a)+f(b)]吧。
#46楼 2015-03-29 21:43木幽落_思
#47楼 2015-04-07 11:49coolAlan
博主,你好,请问上式条件概率是怎样求啊,z不是隐含的观察不到吗?
#48楼 2015-05-11 15:01小丑僵尸
用贝叶斯公式求