为什么说已有EM算法理论是错的？

最新推荐文章于 2024-10-01 23:50:13 发布
最新推荐文章于 2024-10-01 23:50:13 发布
阅读量178 收藏
点赞数
分类专栏： 语义信息和机器学习 文章标签： 混合模型 机器学习 EM算法 语义信息方法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lcguang1955/article/details/83960081
版权

流行的EM算法收敛证明声称：Q和混合模型的似然度是正相关的，M-step最大Q， E-step不减Q， 所以重复M-step和E-step就能收敛。 但是我的研究发现，E-step可能减小Q， 而且在某些情况下， Q应该减小。一个反例如下图：

 

新的理论认为，E-step的作用是减小香农互信息-但是不够， 还需要调整混合比例，改进的M-step作用是增加语义互信息。不断最小化(香农互信息-语义互信息)就可以实现混合模型全局收敛。

怎样改进EM算法实现全局收敛？ 详细见 http://www.survivor99.com/lcg/CM/Recent.html

lcguang老鲁
关注
专栏目录
统计学习方法EM算法的错误指出
share727186630的博客
03-07 662
不知道看统计学习方法的小伙伴有没有注意到李航老师在书上有一推导的错误的地方，在书上159页，利用Jensen不等式下面 在使用Jensen不等式之后的推导，出现了alg(b)-lg(c)=alg(b/c)这种形式的推导。很明显是错误的 虽然最后还是能推导出最后的式子，但是书上写的有一个明显的BUG，在此指出 ...
如何通俗理解EM算法
结构之法 算法之道
08-15 14万+
如何通俗理解EM算法 前言 了解过EM算法的同学可能知道，EM算法是数据挖掘十大算法，可谓搞机器学习或数据挖掘的基本绕不开，但EM算法又像数据结构里的KMP算法，看似简单但又貌似不是一看就懂，想绕开却绕不开的又爱又恨，可能正在阅读此文的你感同身受。 一直以来，我都坚持一个观点：当你学...
从最大似然到EM算法浅解
热门推荐
zouxy09的专栏
01-24 40万+
从最大似然到EM算法浅解 zouxy09@qq.com http://blog.csdn.net/zouxy09 机器学习十大算法之一：EM算法。能评得上十大之一，让人听起来觉得挺NB的。什么是NB啊，我们一般说某个人很NB，是因为他能解决一些别人解决不了的问题。神为什么是神，因为神能做很多人做不了的事。那么EM算法能解决什么问题呢？或者说EM算法是因为什么而来到这个世界
2022春山东大学人工智能导论期末题库附答案
timerring的博客
07-05 4万+
人工智能题目汇总正向规则的一般形式是：如果前提则（）答案：结论隐马尔可夫模型可以由五个元素来描述：隐含状态，可观测状态，初始状态概率矩阵，（），（）答案：隐含状态转移概率矩阵 观测状态转移概率矩阵隐马尔可夫模型研究的基本问题不包括以下哪一种（B）A、评估问题 B、计算问题 C、解码问题 D、学习问题隐马尔可夫模型是一个双重随机过程——具有一定状态数的（B）和显示随机函数集A、马尔可夫链 B、隐马尔可夫链C、贝叶斯模型 D、可观测状态集合A、二分法 B、冒泡法 C、辗转相除法 D、Bau
em问题总结
qq_32524473的博客
06-05 533
1、浏览器的默认字体大小是16px，即body的font-size为16px2、如果元素自身没有设置字体大小，那么元素自身上的所有属性值如“boder、width、height、padding、margin、line-height”等值，我们都可以按下面的公式来计算1 ÷ 父元素的font-size × 需要转换的像素值 = em值3、这一种千万要慢慢理解，不然很容易与第二点混了。如果元素设置了字...
EM算法
qq_32172681的博客
09-22 1万+
一、EM算法介绍 我们经常会从样本观察数据中，找出样本的模型参数。 最常用的方法就是极大化模型分布的对数似然函数。（最大似然估计：利用已知的样本结果，反推最有可能导致这样结果的一组参数）但是在一些情况下，我们得到的观察数据有未观察到的隐含数据，此时我们未知的有隐含数据和模型参数，因而无法直接用极大化对数似然函数得到模型分布的参数。用EM算法可以解决。 EM算法是一种迭代算法，用于含有隐变量的概...
【机器学习】EM算法
酱懵静的博客
11-23 2331
EM算法的思路如下： 1. 给 𝜃~𝐴~ 、 𝜃~𝐵~ 一个初始值； 2. 分别计算每组实验在抛掷硬币A、硬币B的情况下所得概率，并根据该概率值去分别计算两硬币正面朝上次数的期望值。因此，此步骤也被称为“E过程”； 3. 分别用第 2 步中计算的每组期望值来计算 𝜃~A~^(𝑖)^、𝜃~B~^(𝑖)^； 4. 将计算得到的 𝜃~A~^(𝑖)^、𝜃~B~^(𝑖)^ 回代第 2、3 步，并不断迭代得到 𝜃~A~^(𝑖+1)^、𝜃~B~^(𝑖+1)^ , 直至收敛（或到一定精度）。
EM算法理论总结
WGS.
07-07 646
主要解决具有隐变量的混合模型的参数估计 在高斯模型中，每个聚类都服从某个概率分布，我们要做的就是利用EM算法确定这些分布的参数，对高斯模型来说就是计算均值和方差，对多项式模型那就是概率 个人的理解就是用含有隐变量的含参表达式不断拟合，最终能收敛并拟合出不含隐变量的含参表达式 假如有人告诉你，那一个点属于哪一个模型，你当然能够估计出这些分布的均值和方差。但实际上这些都是未知的，相反假如你已经知道均值和方差，那么你也能推断出哪一点属于哪一个模型，但是均值和方差同样也是未知的，所以你需要用均值和方差来判断从属
聚类基本概念及常见聚类算法和EM算法
The_Only_God的博客
12-01 1252
聚类：发现数据中分组聚集的结构，根据数据中样本与样本之间的距离或相似度，依据类内样本距离小（相似度大）、类间样本距离大（相似度小）将样本划分为若干组/类/簇。簇集合的其他区别簇的类型距离度量函数应满足条件：非负性：dist(xi,yj)≥0dist(x_i,y_j)\ge0dist(xi​,yj​)≥0不可分的同一性：dist(xi,yj)=0ifxi=xjdist(x_i,y_j)=0\quad if\quad x_i=x_jdist(xi​,yj​)=0ifxi​=xj​对称性：dist(xi,yj)=
改进的类电磁机制优化算法：IEM 是针对全局优化问题的 EM 算法的改进版本。-matlab开发
05-29
通过这些改进措施，IEM算法在解决工程优化问题、函数优化、机器学习模型参数调优等方面展现出良好的性能，为实际应用提供了有力的工具。然而，优化算法的改进永无止境，未来可能会有更多创新方法来进一步提升IEM算法...
详解EM算法与混合高斯模型(Gaussian mixture model, GMM)
林立民爱洗澡
07-14 15万+
　　最近在看晓川老（shi）师(shu)的博士论文，接触了混合高斯模型（Gaussian mixture model, GMM）和EM(Expectation Maximization)算法，不禁被论文中庞大的数学公式所吓退。本文通过查阅相关资料，在复杂巧妙的推理公式中融入了自己的理解，详细梳理了混合高斯模型和EM算法。 1 单高斯模型(Gaussian single model, GSM）...
混合模型在深度学习中的应用——从EM算法到半监督学习
AI天才研究院
08-08 1330
20世纪90年代末，基于贝叶斯概率统计方法的统计学习理论开始兴起。这一时期最著名的是期望最大化算法（EM算法）。其特点是在给定观测数据集的情况下，估计出模型参数的一种方法。即在极大似然估计的假设下，通过迭代计算使得模型的似然函数极大化，并使得每一个参数的取值满足约束条件。由于EM算法的优良性能，它被广泛用于聚类、分类、回归以及其他高维数据的建模中。直到最近几年，随着深度学习的兴起，基于神经网络的机器学习算法越来越火热，并且在图像、文本、音频、视频等多领域都有所应用。
探索无监督学习的奥秘——EM算法和其他算法原理
AI天才研究院
08-08 1156
最近几年无监督机器学习领域的研究非常火爆，这其中包括聚类、生成模型、密度估计等多种方法。而最为经典的无监督学习方法之一是Expectation-Maximization(EM)算法。在实际应用中，EM算法是一种快速且有效的推理算法，被广泛用于很多领域，如混合高斯模型、语音识别、图像分割、神经网络参数初始化等方面。因此，了解一下EM算法的原理及其工作方式对于理解和运用这一方法十分重要。同时，掌握相关算法的细节还可以帮助我们更好地理解应用场景并进行改进。
【机器学习-无监督学习】降维与主成分分析
Morse_Chen的博客
10-01 2255
本文介绍了数据降维的常用算法之一：PCA算法。数据降维是无监督学习的重要问题，在机器学习中有广泛的应用。利用特征分解进行PCA，动手实现了PCA算法，并使用sklearn实现PCA算法。
机器学习概述
最新发布
西木风落
10-01 767
随着科技的不断更新发展，人工智能与社会生活的关系也越来越紧密。那么，人工智能和机器学习有什么关系，什么是机器学习，机器学习的模型算法有哪些，如何进行机器学习？本系列文章将从上述几个问题展开。
机器学习和深度学习的区别
dhdjjfhdghh的博客
09-26 1911
深度学习是机器学习的一个子集，它基于人工神经网络的概念，特别是那些具有多个非线性变换的层（即深度）。深度学习模型能够自动从原始数据中提取复杂的特征，而无需人为干预。层次结构：深度学习模型由多个层次的神经元组成，每一层都对输入数据进行转换和抽象，从而捕捉数据的复杂特征。自动特征提取：与传统机器学习方法相比，深度学习能够自动从原始数据中学习特征，减少了对人工特征工程的依赖。计算密集型：深度学习模型通常需要大量的计算资源，包括高性能的GPU，以训练大规模的数据集和复杂的模型结构。代表性模型。
【机器学习】——决策树以及随机森林
酷酷的伟的博客
09-28 1327
决策树（Decision Tree）是一种基于树形结构的监督学习算法，广泛应用于分类和回归任务。它通过一系列的决策规则逐步将数据集划分成多个子集，从而构建出易于理解的决策模型。决策树不仅易于可视化、便于解释，还能够处理复杂的多变量决策问题，因此在各类机器学习模型中占有重要地位。
【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络（2）Keras
2201_76026029的博客
09-30 832
本学习笔记 仅为以防自己忘记了，顺便分享给一起学习的网友们参考。如有不同意见/建议，可以友好讨论。本学习笔记 所有的代码和数据都可以从陈强老师的个人主页上下载陈强.机器学习及Python应用. 北京：高等教育出版社, 2021.数学原理等 详见陈强老师的PPT参考了：网友伪_装的CNN对 MNIST 数据集中的图像进行分类#定义一个用于构建网络的函数，便于后续调用。
改进EM算法的跨领域情感分类：提升准确性
"本文提出了一种改进的EM算法用于跨领域情感分类，旨在解决已标注数据与测试数据领域不一致导致的情感分类准确性下降的问题。通过从多个源领域和目标领域生成情感倾向参考表，并利用改进的EM算法进行迭代调整，以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值