EM算法（Expectation - Maximization）通俗实例（What is the expectation maximization algorithm?）

最新推荐文章于 2024-07-17 19:00:00 发布
最新推荐文章于 2024-07-17 19:00:00 发布
阅读量6.3k 收藏 30
点赞数 6
分类专栏： 机器学习算法 文章标签： 机器学习 EM算法 参数估计 机器学习算法 统计学习方法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/justry24/article/details/78043307
版权

西瓜书 7.6 章 讲到了 EM 算法，并声明此算法为“数据挖掘十大算法”，是 含“隐变量”参数估计问题的重要算法， 然而遗憾的是只用了一页半带过。关于此算法，《统计学习方法》这本书有更详细的解释，然而繁琐的数学推导让一些见公式就犯晕的人并不能很直观的理解到它的精髓。

通俗而言，EM算法正如其名“Expectation - Maximization”，就是 交替使用“期望”和”最大化“ ，直至收敛的过程

关于EM 算法，Chuong B Do & Serafim Batzoglou 在论文《What is the expectation maximization algorithm? 》中举了一个通俗的扔硬币例子，对新人理解EM算法，很有帮助



解释一下，（由于有公式和表格，就直接将word截图了）



希望这个例子能助你更好的理解 EM 算法~


Reference：

【1】Do C B, Batzoglou S. What is the expectation maximization algorithm?[J]. Nature biotechnology, 2008, 26(8): 897-899.




justry24
关注
  • 6
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
专栏目录
(最大期望)EM算法案例详解
weixin_43972621的博客
09-08 3503
一、EM算法简介 EM算法全称为Exception Maximization Algorithm，即最大期望算法，以下简称EM算法。它是一种迭代的算法，主要用于含有隐变量的概率参数模型的极大似然和极大后验概率估计。EM算法也经常用于机器学习和计算机视觉的聚类领域，是一个非常重要的算法。 二、EM算法原理 要了解EM算法，就必须先了解极大似然估计，因为整个的EM算法的演算、推导，都...
EM算法的例子--（1）
qq_27009517的博客
06-29 636
文章目录1.基础知识1.1.凸函数&凹函数 1.基础知识 1.1.凸函数&凹函数 凸函数： 凸函数是一个定义在某个向量空间的凸集C（区间）上的实值函数f，在其定义域C上的任意两点x、y，以及t∈[0,1]t \in [0,1]t∈[0,1]，有 如果对于任意的t∈[0,1]t \in [0,1]t∈[0,1]有 则函数f是严格凸的。 凹函数： 在数学中，凹函数是凸函数的相反。凹函数是一个定义在某个向量空间的凹集C（区间）上的实值函数f，在其定义域C上的任意两点x、y，以及t∈[0,1]
EM算法例子简单理解（例题+基本思想+python实现
小果一粒沙的博客
06-19 6671
是研究生复试的时候问到了一个问题，我不会，导致复试成绩不好。复试完了，打算好好理解一下，于是有了下文： 简介 极大似然估计 根据样本的信息，求得未知参数的估计。 主要思想：样本信息出现的概率最大，也就是说我们想要找到一个参数，使得我们所有的样本出现的概率最大。 步骤： 写出关于似然函数。 取对数（方便后来求极值运算）。 对未知参数求偏导，令其为0（求极值），求得参数值为极大似然估计值。 补充：当然，有的并不能够使用数学上求极值的方法来求得极大似然估计值，可以使用单调性求得。不管是哪种解法，都是要求找.
期望最大化（EM）算法：从理论到实战全解析
TechLead的专栏
10-07 3288
本文深入探讨了期望最大化（EM）算法的原理、数学基础和应用。通过详尽的定义和具体例子，文章阐释了EM算法在高斯混合模型（GMM）中的应用，并通过Python和PyTorch代码实现进行了实战演示。
机器学习之期望最大化算法(Expectation Maximization, EM)
deepsprings的博客
06-02 1504
文章目录期望最大化算法(Expectation Maximization, EM)1. 基本内容2. 从三硬币模型2.1 问题提出2.2 解决方案2.3 换个角度3. 到高斯混合模型（Gaussian misture model）3.1 模型建立3.2 问题提出3.3 解决方案4. EM算法4.1 总结4.2 主要思想4.3 算法步骤5. 实例说明6. 应用 期望最大化算法(Expectation Maximization, EM) 1. 基本内容 用于含有隐变量的概率模型参数的极大似然估计 EM 是个一
em算法详细例子及推导_EM算法详解(例子+推导)
weixin_39820437的博客
11-30 761
一. 例子讲解假设有两个硬币1和2，随机抛出后出现正面概率为 、 。每次取一枚银币，连续抛5次，共抛5轮，数据如下：硬币1-->(3正2反)；硬币2-->(2正3反)；硬币3-->(1正4反)；银币4-->(3正2反)；银币5-->(2正3反)很容易计算硬币1正面 的概率 ， 。假如我们不知道选出的是哪个银币，还需要计算出 、 ，该如何处理？数据如下：?...
AI EM 算法 Expectation-maximization algorithm
10-18
关于 AI 的一些算法 ！！ Expectation-maximization algorithm
Algorithm-expectation-maximization.zip
09-17
期望最大化（Expectation-Maximization, EM）算法是一种在概率模型中寻找参数最大似然估计的迭代方法，常用于处理含有未观察数据（隐藏变量）的概率模型。在统计学和机器学习领域，EM算法有着广泛的应用，如混合高斯...
Expectation-Maximization algorithm for bi-variate Normal Inverse Gaussian distribution:Expectation-Maximization (EM) algorithm for bivariate Normal Inverse Gaussian (biNIG) distribution-matlab开发
06-01
双变量NIG分布参数的EM估计。 测试文件： 1. 使用 randraw.m ( http://www.mathworks.com/matlabcentral/fileexchange/7309 ) 模拟 biNIG 样本或 invgrnd.m ( ...
son-em：SON-EM-使用范数总和正则化和期望最大化的混合时变参数系统的参数估计算法
02-02
"SON-EM" 是一种用于混合时变参数系统参数估计的算法，它结合了“规范总和正则化”（Norm Sum Regularization, NSR）与“期望最大化”（Expectation-Maximization, EM）两种方法。这里的“SON”可能指的是“系统识别...
EM算法详细例子+推导
12-03
这里面有我对EM算法的推导，以及一个详细的例子
Evolutionary tree reconstruction using structural expectation maximization and homotopy
02-20
The evolutionary tree reconstruction algorithm called SEMPHY using structural expectation maximization (SEM) is an efficient approach but has local optimality problem. To improve SEMPHY, a new ...
十大机器学习算法之最大期望算法（EM，Expectation-Maximization算法）
00_00_07
11-21 7155
一、算法简介 最大期望算法（Expectation Maximization Algorithm，又译期望最大化算法），是一种迭代算法，用于含有隐变量（latent variable）的概率参数模型的最大似然估计或极大后验概率估计。 极大似然估计只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不是很清楚，参数估计就是通过若干次的实验
期望极大算法：Expectation Maximization Algorithm
吕爽
10-25 1797
EM算法是一种迭代的算法，也可以说是一类算法的范式。概率模型中，有时候不仅存在观测变量，还可能存在隐含变量或者潜在变量。如果模型中的变量都是观测变量，那么直接使用极大似然估计或者贝叶斯估计来估计参数；当变量中含有隐变量时，就可以采用EM算法来进行能够参数的估计。EM算法主要分为两步：E步，求期望；M步，求极大。
Expectation Maximization(EM)算法
extremecold
11-01 568
EM算法的导出过程和详细的证明过程，并且将EM算法应用到高斯混合模型的参数估计中。
EM（Expectation-Maximization）算法
热门推荐
杂的文
11-05 1万+
本文对EM（Expectation-Maximization）算法进行了深入浅出的讨论。对于EM算法使用情景、为什么需要EM算法、为什么EM算法如此使用、EM算法使用的合理性等进行了详尽的讨论，相信读者会有更深入透彻的理解。
The EM(Expectation–Maximization) Algorithm 详解
Flying Dreams
10-10 1万+
在统计计算中，最大期望（EM，Expectation–Maximization）算法是在概率（probabilistic）模型中寻找参数最大似然估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variabl）。最大期望经常用在机器学习和计算机视觉的数据集聚（Data Clustering）领域。 通常来说，聚类是一种无指导的机器学习问题，如此问题描述：给你一堆数据点，让你将它
Expectation Maximization（EM算法）证明过程
Mophistoliu的博客
01-23 366
Expectation Maximization 单个高斯分布假设 已知观测到的数据x={x1,x2...,xn}\mathbf{x}=\{x_1, x_2 ..., x_n\}. 若对该数据进行单个高斯分布θ(μ,σ2)\theta(\mu, \sigma^2) 的假设，则可有以下log likelyhood ： L(θ|x¯)=log(P(x¯|θ))=∑i=1nlog(P(xi|θ)
机器学习笔记（1）：什么是机器学习
最新发布
qq_24428851的博客
07-17 523
这门课程全面地介绍了机器学习知识。目标是学会构建用于描述数据的模型，然后根据一些评估指标来验证模型，或者互相比较不同模型的结果。最后，使用模型来解决问题。课程覆盖监督学习、非监督学习、强化学习和深度学习四种机器学习的方式。这些模型作为解决实际问题的工具箱。我们不仅是要学会如何用这些模型，还需要知道什么时候用，以及如何评估结果。机器学习是编写计算机程序，来解决现实中的问题。与传统编程相比，传统编程的方法是编写算法和规则来处理数据，然后得到结果。而机器学习则根据数据来寻找规则。
基于EM的IS-NMF算法
05-10
EM算法（Expectation-Maximization Algorithm）是一种常用的参数估计算法，它主要用于含有隐变量的概率模型的参数估计。IS-NMF算法（Improved Separability Nonnegative Matrix Factorization）是一种基于非负矩阵...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值