数据挖掘算法总结-EM算法

 数据挖掘算法总结-EM算法

 

作者:刘伟民

毕业于:中科院计算所

职业:搜索引擎爱好者

2011-05-07 08:54:52

 

 

1.  什么是EM算法?

EM算法是机器学习中一个很重要的算法,即期望最大化算法,主要包括以下两个步骤:

E步骤:estimate the expected values

M步骤:re-estimate parameters

这个算法的主要作用在于对参数的估计上。虽然EM算法也可以进行数据聚类,并且基于混合高斯分布进行数据拟合,但是由于EM算法进行迭代速度很慢,比kmeans性能差很多,并且KMEANS算法 聚类效果没有比EM差多少,所以一般用kmeans进行聚类,而不是EM

2.   EM算法简述

可以有一些比较形象的比喻说法把这个算法讲清楚。比如说食堂的大师傅炒了一份菜,要等分成两份给两个人吃,显然没有必要拿来天平一点一点的精确的去称分量,最简单的办法是先随意的把菜分到两个碗中,然后观察是否一样多,把比较多的那一份取出一点放到另一个碗中,这个过程一直迭代地执行下去,直到大家看不出两个碗所容纳的菜有什么分量上的不同为止。EM算法就是这样,假设我们估计知道AB两个参数,在开始状态下二者都是未知的,并且知道了A的信息就可以得到B的信息,反过来知道了B也就得到了A。可以考虑首先赋予A某种初值,以此得到B的估计值,然后从B的当前值出发,重新估计A的取值,这个过程一直持续到收敛为止。

EM 算法是 DempsterLaindRubin 1977 年提出的求参数极大似然估计的一种方法,它可以从非完整数据集中对参数进行 MLE 估计,是一种非常简单实用的学习算法。这种方法可以广泛地应用于处理缺损数据,截尾数据,带有噪声等所谓的不完全数据(incomplete data)。 假定集合Z = (X,Y)由观测数据 X 和未观测数据Y 组成,Z = (X,Y) X 分别称为完整数据和不完整数据。假设Z的联合概率密度被参数化地定义为P(XY|Θ),其中Θ 表示要被估计的参数。Θ 的最大似然估计是求不完整数据的对数似然函数L(X;Θ)的最大值而得到的: L(Θ; X )= log p(X |Θ) = ∫log p(X ,Y |Θ)dY EM算法包括两个步骤:由E步和M步组成,它是通过迭代地最大化完整数据的对数似然函数Lc( X;Θ )的期望来最大化不完整数据的对数似然函数,其中Lc(X;Θ) =log p(XY |Θ) ; 假设在算法第t次迭代后Θ 获得的估计记为Θ(t ) ,则在(t+1)次迭代时, E-步:计算完整数据的对数似然函数的期望,记为:  Q(Θ |Θ (t) ) = E{Lc(Θ;Z)|X;Θ(t) }M-步:通过最大化Q(Θ |Θ(t) ) 来获得新的Θ

通过交替使用这两个步骤,EM算法逐步改进模型的参数,使参数和训练样本的似然概率逐渐增大,最后终止于一个极大点。直观地理解EM算法,它也可被看作为一个逐次逼近算法:事先并不知道模型的参数,可以随机的选择一套参数或者事先粗略地给定某个初始参数λ0 ,确定出对应于这组参数的最可能的状态,计算每个训练样本的可能结果的概率,在当前的状态下再由样本对参数修正,重新估计参数λ ,并在新的参数下重新确定模型的状态,这样,通过多次的迭代,循环直至某个收敛条件满足为止,就可以使得模型的参数逐渐逼近真实参数。

EM算法的主要目的是提供一个简单的迭代算法计算后验密度函数,它的最大优点是简单和稳定,但容易陷入局部最优。

3.  EM算法的缺点

EM算法迭代速度慢,次数多。

EM算法对高位数据处理速度相当慢,并且在估计协方差的时候不够准确。

(话说EM算法主要用于参数估计,协方差只是在基于混合高斯分布的EM算法中存在)

4.  下面附我用matlab实现的EM代码

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值