【EM算法】算法及注解

已于 2024-04-15 15:57:24 修改
阅读量224 收藏 2
点赞数 8
分类专栏： 机器学习方法 文章标签： EM EM算法 极大似然估计
于 2024-04-15 15:57:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_73404807/article/details/137783047
版权

EM算法又称期望极大算法，是一种迭代算法，每次迭代由两步组成：E步，求期望（expectation）；M步，求极大（maximization）。

算法背景

如果概率模型的变量都是观测变量，那么可以直接用极大似然估计法，或贝叶斯估计法估计模型参数。但是，当模型含有隐变量时，就需要考虑EM算法，EM算法是含有隐变量的概率模型参数的极大似然估计法。

EM算法

输入:观测变量数据Y，隐变量数据Z，联合分布P(Y,Z | \theta )，条件分布P( Z| Y,\theta )

输出：模型参数\theta

1.选择参数的初值$\theta^{(0)}$,开始迭代；

EM算法对初值敏感

2.E步：记$\theta^{(i)}$为第$i$ 次迭代参数$\theta$的估计值，在第$i+1$次迭代的E步，计算

Q(\theta,\theta^{(i)})=E_Z[\log P(Y,Z|\theta)|Y,\theta^{(i)}]
=\sum_{Z}\log P(Y,Z|\theta)P(Z|Y,\theta^{(i)})

$P(Z|Y,\theta^{(i)})$ 是在给定观测数据$Y$和当前的参数估计$\theta^{(i)}$下隐变量数据$Z$的条件概率分布

$Q(\theta,\theta^{(i)})$是完全数据的对数似然函数P(Y,Z | \theta )关于在给定观测数据$Y$和当前的参数估计$\theta^{(i)}$下隐变量数据$Z$的条件概率分布$P(Z|Y,\theta^{(i)})$的期望。

其中，$Q(\theta,\theta^{(i)})$第一个变元\theta是要极大化的参数，第二个变元$\theta^{(i)}$是参数的当前估计。

3.M步：求使$Q(\theta,\theta^{(i)})$极大化的$\theta$,确定第$i+1$ 次迭代的参数的估计值 $\theta^{(i+1)}$


\theta^{(i+1)}=\arg\max_\theta Q(\theta,\theta^{(i)})

每次迭代$\theta^{(i)}\to\theta^{(i+1)}$使似然函数增大或达到局部极值

4.重复第2步和第3步，直到收敛。

收敛条件通常为：\|\theta^{(i+1)}-\theta^{(i)}\|<\varepsilon_1\quad或\quad\|Q(\theta^{(i+1)},\theta^{(i)})-Q(\theta^{(i)},\theta^{(i)})\|<\varepsilon_2

F_D_Z
关注
  • 8
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
EM算法详述
02-04
详细讲解期望最大化算法（EM），并以多个实际例子的推导以及代码实现来讲解EM算法的使用。
EM算法MATLAB代码及详细注解
weixin_41724971的博客
03-13 827
下面代码为PRML所附的基于混合高斯（MoG）的代码，个人认为编码可读性和风格都值得借鉴。 function [label, model, llh] = mixGaussEm(X, init) % Perform EM algorithm for fitting the Gaussian mixture model. % Input: % X: d x n data matrix % init: k (1 x 1) number of components or label (1 x n, 1
如何通俗理解EM算法
热门推荐
结构之法 算法之道
08-15 14万+
如何通俗理解EM算法 前言 了解过EM算法的同学可能知道，EM算法是数据挖掘十大算法，可谓搞机器学习或数据挖掘的基本绕不开，但EM算法又像数据结构里的KMP算法，看似简单但又貌似不是一看就懂，想绕开却绕不开的又爱又恨，可能正在阅读此文的你感同身受。 一直以来，我都坚持一个观点：当你学...
【转】EM算法MATLAB代码及详细注解
遗世独立的乌托邦
08-11 1679
【转】EM算法MATLAB代码及详细注解 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/qq_23968185/article/details/70940197 作者：鼹鼠的胡须 觉得有用的话,欢迎一起讨论相互学习~ 下面代码为PRML所附的基于混合高斯（MoG）的代码，个人认为编码可读性和风格都值得借鉴。 function [label, model, llh] = mixGaussEm(X
EM算法MATLAB代码及注解
peiwang245的博客
09-25 4284
下面代码为PRML所附的基于混合高斯（MoG）的代码，个人认为编码可读性和风格都值得借鉴。function [label, model, llh] = mixGaussEm(X, init) % Perform EM algorithm for fitting the Gaussian mixture model. % Input: % X: d x n data matrix % ini
【EM算法】三硬币模型
Frost_Descent的博客
04-15 439
三硬币模型是EM算法运用的一个经典例子EM算法：1.选择初值2.E步求期望3.M步求极大4.迭代至收敛。
EM算法介绍及总结
changsoon
05-16 6954
本文摘自统计学习方法 李航著 清华大学出版社EM算法介绍及总结EM算法是一种迭代的算法，1977年由Dempster等人提出，用于含有隐变量（Hidden Variable）的概率模型参数的极大似然估计（不了解的可以参考我的另一篇博客，极大似然估计），或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望（expectation）；M步，求极大（maximum）。所以这一算法称为期望极大算法
EM算法
kgl1632的专栏
01-31 694
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &a
如何通俗理解EM算法，进阶加薪全靠它
2401_84239525的博客
04-19 528
了解过EM算法的同学可能知道，EM算法是数据挖掘十大算法，可谓搞机器学习或数据挖掘的基本绕不开，但EM算法又像数据结构里的KMP算法，看似简单但又貌似不是一看就懂，想绕开却绕不开的又爱又恨，可能正在阅读此文的你感同身受。一直以来，我都坚持一个观点：当你学习某个知识点感觉学不懂时，十有八九不是你不够聪明，十有八九是你所看的资料不够通俗、不够易懂（如果还是不行，问人）。
k-means和EM算法的Matlab实现
phymat.nico的专栏
05-05 852
k-means和EM算法的Matlab实现_foreseerwang的博客-CSDN博客_em算法 matlabEM算法matlab和Java实现_唐维康的博客-CSDN博客_em算法matlab实现 MATLAB实现高斯混合分布的EM算法及二维时概率密度曲面、置信椭圆绘制 - 知乎 GMM高斯混合模型及EM算法(matlab实现)_北海北_CrazyZheng的博客-CSDN博客_高斯混合模型em算法matlab代码视觉机器学习20讲-MATLAB源码示例（7）-EM算法_mozun2020的博客.
python em算法的实现
01-19
''' 数据集：伪造数据集（两个高斯分布混合） 数据集长度：1000 ------------------------------ 运行结果： ---------------------------- the Parameters set is: alpha0:0.3, mu0:0.7, sigmod0:-2.0, alpha1:0.5,...
EM 算法作业1
08-04
EM 算法EM算法简单理解EM算法是求解这个问题的一种迭代算法，它有3步：E步M步EM算法的标准定义重复以上步骤直到收敛输入：观测数据Y,隐变量，Z参数 θ，联
EM算法硬币_EM算法_EM_
10-02
EM算法，抛掷、投掷硬币问题，迭代求解E步、M步
232432_EM算法_
10-01
高斯混合模型(Gaussian Mixture Model，GMM)是一种软聚类模型。 GMM也可以看作是K-means的推广，因为GMM不仅是考虑到了数据分布的均值，也考虑到了协方差。和K-means一样，我们需要提前确定簇的个数。
node-v0.8.10-sunos-x64.tar.gz
最新发布
05-16
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
【课程设计】实现的金融风控贷款违约预测python源码.zip
05-16
【课程设计】实现的金融风控贷款违约预测python源码.zip
node-v0.10.27-x86.msi
05-16
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
课设毕设基于SSM的高校二手交易平台-LW+PPT+源码可运行.zip
05-16
课设毕设基于SSM的高校二手交易平台--LW+PPT+源码可运行
粒子群算法多目标python
08-20
- *1* *3* [（python源码，详细注解 ）多目标粒子群算法 mopso](https://blog.csdn.net/m0_38097087/article/details/79818348)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

F_D_Z

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值