EM算法实验及理论

最新推荐文章于 2024-10-13 23:22:35 发布
最新推荐文章于 2024-10-13 23:22:35 发布
阅读量968 收藏 3
点赞数 1
文章标签： 算法 概率论
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lucas23/article/details/108254068
版权

EM算法，全称Expectation Maximization Algorithm，译作最大期望化算法或期望最大算法，它是一种迭代算法，用于含有隐变量（hidden variable）的概率参数模型的最大似然估计或极大后验概率估计。

例子

下面先通过一个例子实验，来直观感受对含有隐藏变量概率模型的参数估计。

这里用PYTOHN 写一个可自定义生成概率的01分布：

例如 index = random_index([70, 30]) 则为 P(index=0) = 0.7 ， P(index=1) = 0.3。生成100个样本：

[0, 1, 0, 1, 0, 1, 1, 1, 0, 1, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 1, 0, 0, 1, 0, 0, 1, 0, 0, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 1, 0, 0, 0, 1, 1, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0]

可以统计到 1 的个数为28个。

现在实验用两个分布 H0(random_index([70, 30])) , H1(random_index([40, 60])), 每次用一个分布实验，共五次实验，如：

实验 0个数1个数统计
H07327P(1) = 0.27
H13664P(1) = 0.64
H06733P(1) = 0.33
H14357P(1) = 0.57
H07129P(1) = 0.29

                                                                                              图 1

假设我们不知真实分布，那么通过上图的随机过程可统计，可得

P( 1 / H0) =  (0.27 + 0.33 + 0.29) / 3 = 0.2966...                 P( 1 / H1) =  (0.64 + 0.57) / 2 = 0.605

以上实验，如果我们存在两个分布，但不知其分布参数，但如果观察的随机样本是可知由哪个分布产生的，那么统计，就可以各个分布的参数。

上述实验模型的变量仅仅是观测变量，通过给定观察数据便可以估计模型参数。

但通常遇到问没这么简单，如我们观察的到随机样本，它是在一个有个多分布组合的系统中产生的，而且我们无法观察到时由哪个分布（或者由怎样的权重组合的分布）产生的，也就是说系统存在隐藏变量决定了分布的出现情况。

对于这种情况，通过观察样本，直接估计整个系统的模型很难，比如对于一个GMM 模型：

                                                      GMM = C_{0} * G_{0} + C_{1} * G_{1} + C_{2} * G_{2}

                                                                  C_{0} , C_{1}, C_{2} ......C_{n}= F(Z)

要高斯变量的分布 和 Z变量的F 直接去估计出来可能无法解析, 因此我们只能以某个启发式方法，去估计， 以可以准确描述我们的观察数据。

在下面的实验中，我们不知每一次实验是H0 还是 H1，那么这时不仅有观察变量，是观察的出现的1 或 0, 还有隐藏变量，表示每次实验是H0 还是 H1 可能结果。

实验 0个数1个数统计
H？7327P(1) = 0.27
H？3664P(1) = 0.64
H？6733P(1) = 0.33
H？4357P(1) = 0.57
H？7129P(1) = 0.29

                                                                                             图 2

如上述实验，我们假设系统存在两个不同分布 H0 和 H1 以某种可能组合。

假设 初始值 P(1 / H0) = 0.2 ， P(1/ H1) = 0.7.

实验H0H1
10.8`(7.3)*0.2`(2.7) = 0.0025430.3`(7.3) * 0.7`(2.7)=0.000058
20.8`(3.6) *0.2`(6.4) = 0.0000500.3`(3.6) * 0.7`(6.4)=0.005004
30.8`(6.7) *0.2`(3.3) = 0.0011060.3`(6.7) * 0.7`(3.3)=0.000032
40.8`(4.3) *0.2`(5.7) = 0.0000390.3`(4.3) * 0.7`(5.7)=0.000739
50.8`(7.1) *0.2`(2.9) = 0.0019270.3`(7.1) * 0.7`(2.9)=0.000069

                                                                                              图 3

此时估计出了隐藏变量

实验H0H1
10.970.03
20.010.99
30.970.03
40.050.95
50.960.04

                                                                                             图  4

上面估计出的隐藏变量的很准确的反应真实情况，主要是因为我们的模型初始化值很接近真实参数。

接下来用估计的隐藏变量，及观察样本统计 H0  和 H1 各自的分布：

对于 H0 ：

实验01
10.97 * 730.97 * 27
20.01 * 36 0.01 * 64
30.97 * 670.97 * 33
40.05 * 430.05 * 57
50.96 *  710.96 * 29

                                                                                          图  5

P(0/ H0) = 206.47/ (206.47+ 89.53) = 0.6975 ， P(1/ H0) = 1 - P(0/ H0) = 0.3025

同理，对于H1

实验01
10.03 * 730.03 * 27
20.99 * 36 0.99 * 64
30.03 * 670.03 * 33
40.95 * 430.95 * 57
50.04 *  710.04 * 29

                                                                                           图  6

P(0/  H1) = 83.53/(83.53 + 120.47) = 0.4094,  P(1/ H1) = 1 - P(0 / H1) = 0.5906

由上两图统计以看出，H0 和 H1 的参数由初始值，经过一轮优化更新接近了真实值。例如对于H1, 我们估计隐藏变量 ,第一次实验出现H1的 P1(H1) = 0.03 , 类似 P2(H1) = 0.99, P3(H1) = 0.03, P4（H1） = 0.95 , P5（H1）= 0.04  分别作为五次实验为H1 的权重来统计所有样本，由于隐藏变量估计准确，所有用来加权估计所有样本对其他某个分布的参数也将更接近真实分布。

 

算法理论

 

一般的，用Y 表示观测随机变量的数据， Z表示隐藏随机变量的数据。 Y 和 Z 称为完全数据（complete data）, 观测数据Y 称为不完全数据（incomplete data）. 对于其似然是  P(Y;\Theta )  ， 而完全数据的似然是 P(Y, Z;\Theta ) 。目标是极大化观测数据（不完全数据）Y 关于参数的对数似然函数，即极大化：

                                                                               L(\Theta ) = logP(Y ; \Theta )

 

假设观察样本是相互独立的，那么       L(\Theta ) = logP(Y ; \Theta ) = \sum_{i}logP(y_{i} ; \Theta ) ,  其中 y_{i}  为 Y 中第 i 个样本。

假设在观察样本 y_{i} 的隐藏变量为  Z = {z_{0} , z_{1}, ......, z_{j}}  , 则完全数据的极大似然为：

 

                                                           L(\Theta ) = logP(Y ; \Theta ) = \sum_{i}log \sum_{j}P(y_{i}, z_{j} ; \Theta )

则上面式子与前面的例子对应，如图2 ，样本的是相互独立的，那么联合概率为独立样本概率相乘，取对数则变为所有样本的对

数似然值相加  ， 即  \sum_{i}logP(y_{i} ; \Theta )  ； 而图5 图6 是考虑所有可能的隐藏变量可能权重相加（期望）得到似然值，即

\sum_{i}log \sum_{j}P(y_{i}, z_{j} ; \Theta ) 。 可看出例子的对模型参数估计包含两个步骤：

1 通过观察样本和当前的模型参数（如初始值）， 估计隐藏变量；

2 在第一步估计出隐藏变量值，通过观察样本，极大似然估计模型参数。

上述两个步骤不断重复迭代，直至模型收敛。

EM 算法的思想也如例子一样，不是直接极大化 L(\Theta ) ， 而是不断建立 L(\Theta ) 的下界函数，然后然后优化下界，循环迭代直至模型收敛，其本质思想是固定前的模型的观察变量的参数，估计隐藏变量，再固定隐藏变量，估计观察变量的参数，循环迭代，直至收敛到局部最优解。其推导如下：

                                                              L(\Theta ) = logP(Y ; \Theta ) = \sum_{i}log \sum_{j}P(y_{i}, z_{j} ; \Theta )\: \: \, \, \, \, \, \, \, \, \, \, (1)  

公式（1） 中非线性函数log 中里面又有加和，直接求导求极值非常困难，应该想办法解决这种情况。因此，对于每个观察样本 y_{i} ， 用 Q_{i} 表示该样本下隐藏变量

的分布， Q_{i} 满足     \sum_{j}Q_{i}(z_{j}) = 1, Q_{i}(z_{j}) > 0 , 则 （1） 式可转换为：

                                                          L(\Theta ) = logP(Y ; \Theta ) = \sum_{i}log \sum_{j}\frac{Q_{i}(z_{j}) P(y_{i}, z_{j} ; \Theta )}{Q_{i}(z_{j})}\, \, \, \, \, \, \, \, (2) 

根据jenson 不等式可变换化为： 

                                                           L(\Theta ) = logP(Y ; \Theta ) \geq \sum_{i} \sum_{j}Q_{i}(z_{j})log\frac{ P(y_{i}, z_{j} ; \Theta )}{Q_{i}(z_{j})}\, \, \, \, \, \, \, \, (3)

 

公式（2）将  L(\Theta ) = logP(Y / \Theta )  解析表达出两个不同的分布 ， 公式（3）为了求解，变化为公式（2）的下界函数，只要能极大化下界函数，那么原始函数也会不断极大化。令下界函数为：

                                                               J(Z, \Theta ) = \sum_{i} \sum_{j}Q_{i}(z_{j})log\frac{ P(y_{i}, z_{j} ; \Theta )}{Q_{i}(z_{j})} \, \, \, \, \, \, \, \, \, (4)

那么要想下界函数可能极大化L(\Theta ) = logP(Y / \Theta ),  其求解思想可以是：

找到令 J(Z, \Theta ) = L(\Theta )  的 Z' ， 即 J(Z', \Theta ) ；然后再寻找\Theta =\Theta ' 使得 J(Z', \Theta ) 极大化，即 J(Z', \Theta' ) , 那么此时得到的参数(Z', \Theta' ) 带入 公式（2）便极大化了 L(\Theta ) = logP(Y / \Theta )。

 

因此，找到令 J(Z, \Theta ) = L(\Theta )  的 Z' ， 即 J(Z', \Theta ) ：

根据 jenson 不等式的性质，对于公式（2）中的期望  \sum_{j}\frac{Q_{i}(z_{j}) P(y_{i}, z_{j} ; \Theta )}{Q_{i}(z_{j})} ，  当且仅当  \frac{P(y_{i}, z_{j} ; \Theta )}{Q_{i}(z_{j})}  为常数时，公式（3）中的等号成立，即：

                                                                                    \frac{P(y_{i}, z_{j} ; \Theta )}{Q_{i}(z_{j})} = c  ， 则

                                                                       \sum_{j}P(y_{i}, z_{j} ; \Theta ) = \sum_{j}Q_{i}(z_{j})\cdot c

                                                                  \Rightarrow \sum_{j}P(y_{i}, z_{j}; \Theta )} = c\varpi

因此，                                     Q_{i}(z_{j}) = \frac{P(y_{i}, z_{j}; \Theta )}{\sum_{j}P(y_{i}, z_{j}; \Theta )} = \frac{P(y_{i}, z_{j}; \Theta )}{ P(y_{i}; \Theta )} = P(z_{j}/ y_{i}; \Theta ) 。

上述即EM算法的E步骤。从而得到EM 算法：

E 步骤： 根据当前的模型参数，估计隐藏变量 Z 的后验概率， 

                                                                                 Q_{i}(z_{j}) = P(z_{j}/ y_{i}; \Theta )

M 步骤： 根据E步骤得到的 Q_{i}(z_{j}) ， 对 J(Z', \Theta ) 极大似然估计：

                                                  arg\, \, \underset{\Theta}{max} J(Z', \Theta ) =arg\, \, \underset{\Theta}{max} \sum_{i} \sum_{j}Q_{i}(z_{j}')log\frac{ P(y_{i}, z_{j}'; \Theta )}{Q_{i}(z_{j}')}

对模型初始化参数，然后通过迭代 E步骤和 M步骤，对模型极大似然求解。

 

GMM 参数估计

 

设 GMM 的对数似然函数为：

                                                                L(\Theta ) = \sum _{i}log p(y_{i}; \Theta ) = \sum _{i}log p(y_{i}; \varpi ,\phi )

其中 \varpi为混合高斯分布的权重参数，即 \varpi =(w_{1}, w_{2},......,w_{K}); \phi = (u_{1}, \sigma_{1}, u_{2}, \sigma_{2}, ......, u_{K}, \sigma_{K})。

根据 EM算法的E步，估计隐变量的后验概率，即在在当前分布下观测样本y_{i}属于第j个高斯分布的概率：

                                                 \gamma _{ij} = Q_{i}(z_{j}) =P(z_{j}/y_{i}; \Theta )

                                                                       =\frac{p(z_{j},y_{i};\Theta )}{\sum _{j}p(z_{j},y_{i};\Theta )}=\frac{p(y_{i}/z_{j};\Theta )p(z_{j };\Theta)}{\sum _{j}p(y_{i}/z_{j};\Theta) p(z_{j };\Theta)}

                                                                      =\frac{g(y_{i};\phi _{j})w_{j}}{\sum_{j}g(y_{i};\phi _{j})w_{j} }

接下来是M步，极大似然估计模型参数，即对各参数求导：

将E步的\gamma _{ij} 和高斯分布 p(y) = \frac{1}{2\pi |\sum_{\sigma } | ^{1/2}}exp(-\frac{(y-u)^{T}\sum ^{-1}_{\sigma }(y-u)}{2}), 带入：

                                                               \sum_{i} \sum_{j}Q_{i}(z_{j}')log\frac{ P(y_{i}, z_{j}'; \Theta )}{Q_{i}(z_{j}')}

                                                          =\sum_{i} \sum_{j}Q_{i}(z_{j}')log\frac{ P(y_{i}/z_{j}'; \Theta )P(z_{j}';\Theta )}{Q_{i}(z_{j}')}

                                                          =\sum_{i} \sum_{j}\gamma _{ij}log\frac{\frac{1}{2\pi |\sum_{\sigma j } | ^{1/2}}exp(-\frac{(yi-uj)^{T}\sum ^{-1}_{\sigma j }(yi-uj)}{2})w_{j}}{\gamma _{ij}}\, \, \, \, \, \, \, \, \, (5)

 

公式（5）先对均值U 求导：

                                                            \nu _{uj}(5)=-\nu _{uj}\sum _{i}\gamma _{ij} \frac{(yi-uj)^{T}\sum ^{-1}_{\sigma j }(yi-uj)}{2}

                                                                       =\frac{1}{2}\sum _{i}\gamma _{ij} \cdot -\nu _{uj}\left \{(yi-uj)^{T}\sum ^{-1}_{\sigma j }(yi-uj) \right \}

                                                                       =\frac{1}{2}\sum _{i}\gamma_{ij}\cdot \nu_{uj}\left \{ 2uj^{T}\sum ^{-1} _{\sigma j }yi -uj^{T}\sum ^{-1} _{\sigma j }uj^{T} \right \}

                                                                      =\sum _{i}\gamma_{ij} ( \sum ^{-1} _{\sigma j }yi -\sum ^{-1} _{\sigma j }uj )\, \, \, \, \, \, \, \, \, \, (6)

令公式（6） = 0， 则可得：

                                                                              u_{j} = \frac{\sum _{i}\gamma _{ij}y_{i}}{\sum _{i}\gamma _{ij}}

同理可得：

                                                                              w_{j}=\frac{1}{m}\sum^{m} _{i}\gamma _{ij}

                                                                             \sum _{\sigma j} = \frac{\sum ^{m}_{i=1}\gamma _{ij}(yi-uj)^{T}(yi-uj)}{\sum ^{m}_{i=1}\gamma _{ij}}

 

 

Lucas23
关注
EM算法
shichaog的专栏
11-01 2404
前一篇文章提到了基于统计模型的VAD决策方法，在看《WebRTC之VAD算法，http://blog.csdn.net/shichaog/article/details/52399354》时，其计算概率使用的高斯参数是给定的，那么问题来了； 1.webrtc中给定的参数是如何得到的？ 2.这些参数能否适用你想要使用的场景？ 3.这些场景和你的场景匹配度如何？ 4.如何根据你手中数据提升web
王小草【机器学习】笔记--EM算法
【人工智能】王小草的博客
12-08 5543
标签（空格分隔）： 王小草机器学习笔记EM算法的英文全称是Expectation Maximization Algorithm，也就是求期望最大化，也就是我们常说的目标函数求最大值的算法。EM算法，直观的说，就是有一堆未知的数据（比如一些特征值），这些数据可能来自于不同的类别，而你想知道的是每一个数据都来自于哪个类别，并且知道来自于这个类别的概率是多少。而在EM算法看来，每一个类别中的数据必然服从了
EM算法(附实验报告文档,java实现)
04-21
EM算法也就是期望最大化算法，是一种无指导的学习算法。This little software is the realization of EM algorithm in the application of tossiing the coin, which is described in the paper of Michael Collins in 1997. 下载包中包含：源代码、可执行程序、关于EM算法的paper
转:EM算法总结
weixin_30257433的博客
07-17 157
https://applenob.github.io/em.html EM算法总结 在概率模型中，最常用的模型参数估计方法应该就是最大似然法。 EM算法本质上也是最大似然，它是针对模型中存在隐变量的情况的最大似然。 下面通过两个例子引入。 没有隐变量的硬币模型 假设有两个硬币，AA和BB，这两个硬币具体材质未知，即抛硬币的结果是head的概率不一定是50%。 在这个实...
什么是EM算法
最新发布
通往IT大道的专栏
10-13 1003
可以期待，我们继续按照上面的思路，用估计出的PA和PB再来估计z，再用z来估计新的PA和PB，反复迭代下去，就可以最终得到PA = 0.4，PB=0.5，此时无论怎样迭代，PA和PB的值都会保持0.4和0.5不变，于是乎，我们就找到了PA和PB的最大似然估计。只听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打的？答案就是先随机初始化一个PA和PB，用它来估计z，然后基于z，还是按照最大似然概率法则去估计新的PA和PB，然后依次循环，如果新估计出来的PA和PB和我们真实值差别很大，直到。
EM算法实践
qq_43498494的博客
04-20 304
文章目录多维度的GMM聚类EM是聚类的一种吗？GMM--高斯混合模型调参 多维度的GMM聚类 对称正定矩阵，即协方差矩阵。 EM是聚类的一种吗？ EM算法是可以解决高斯混合模型他的参数的推断的，这是EM算法可做的。而聚类中有个k均值算法，其中假定各个类别是服从的等方差的高斯分布。即K均值可以解决一种特殊的高斯混合模型。所以EM与聚类有些问题是都可以解决的。EM算法对于观测数据不完整的，我们仍然可...
EM算法实验内容及图片分类任务
Vickyiiiiii的博客
12-08 1801
EM算法实验内容 一、基本原理 简介 EM算法又称期望最大化算法，是一种迭代算法，是在概率模型中寻找参数极大似然估计的算法，其中概率模型依赖于无法观测的隐含变量。它主要用于从含有隐含变量的数据中计算极大似然估计。是解决存在隐含变量优化问题的有效方法。 简单推导 1. JENSEN不等式 设fff是定义域为实数的函数，如果对于所有的实数xxx，f”(x)≥0f”(x)≥0f”(x)≥0，那么fff是...
EM算法详细例子及推导
03-31
综上所述，EM算法不仅在理论上具有坚实的数学基础，而且在实践中也展现出了极高的实用价值。通过对硬币投掷实验的详细分析，我们可以深刻理解EM算法如何解决不完全数据问题，并在此基础上进行有效的参数估计。
多项分布参数估计的EM/MCEM算法及模拟
12-26
为了处理这类问题，EM算法（Expectation-Maximization Algorithm）和MCEM算法（Monte Carlo EM Algorithm）作为两种主要的迭代算法，发挥着重要的作用。 EM算法是一种有效的参数估计方法，尤其适用于含有隐藏变量的...
缺失数据em算法python_EM算法
weixin_39934296的博客
12-16 1034
更多：贝叶斯…9.1 简单介绍EM(Expectaion Maximization)算法(又称为期望最大化方法)是一种迭代算法，Dempster等人在1977年总结提出来的。简单来说EM算法就是一种含有隐变量的概率模型参数的极大似然估计。EM算法的每次迭代由两步组成：第一是求期望，第二是求极大。EM算法在机器学习中有极为广泛的应用。如常被用来学习高斯混合模型(Gaussian mixture mo...
高光谱分类EM算法及噪声的处理.pdf
01-01
《高光谱分类EM算法及噪声的处理》这篇文章主要探讨了在高光谱遥感领域中，如何利用期望极大值（EM）算法进行影像分类，并处理噪声问题。高光谱遥感技术因其丰富的光谱信息在地球科学领域受到广泛关注，但数据分析...
EM算法课件讲义
05-30
总结以上知识点，EM算法课件讲义中涵盖了最大似然估计、Jensen不等式、K-means算法、高斯分布参数估计、高斯混合模型以及坐标上升算法等重要概念，并通过实例演示的方式让学习者能够快速掌握EM算法的理论与实践应用...
最大熵模型与EM算法及python实现
u014033218的专栏
07-17 2413
统计学习基础回顾 1. 后验概率 2 2. . 极大似然法 (MLE)  信息论基础 1. （互）信息 2. 熵、条件熵 3. 交叉熵、相对熵  最大熵模型 1 1 . 凸优化理论推导 Maxent 2. 与 MLE 的关系  EM 算法 1 1 . GMM 实例 2. MLE 推导 我希望自己能通俗地把它理解或者说明白，但是，EM这个问题感觉真的不太好用通俗的语言去
哈工大机器学习实验：MATLAB实现EM算法与高斯混合模型
总结来说，高斯混合模型和EM算法是机器学习中重要的理论与实践工具，特别是在处理非线性可分数据和不确定性问题时。理解并掌握这两者对于进行数据建模和挖掘具有重要意义。在MATLAB环境中实现GMM和EM算法，可以帮助...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值