白话机器学习算法（十一） EM（附三个硬币模型代码）

最新推荐文章于 2023-01-05 17:12:33 发布
最新推荐文章于 2023-01-05 17:12:33 发布
阅读量2.5k 收藏 3
点赞数
分类专栏： 机器学习/数据挖掘 文章标签： 白话机器学习算法 EM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangxin110000/article/details/22404983
版权
本文以简单易懂的方式介绍EM（期望最大化）算法的思想，通过K-means聚类和GMM（高斯混合模型）为例，阐述如何用参数和数据估计参数。文章建议读者通过三个硬币模型、GMM实际执行过程和EM的数学证明来逐步理解EM算法。
摘要由CSDN通过智能技术生成

EM有很多公式推导，这里还是先说下EM思想，前面说过EM是最大似然估计的思路，但是他的方法是用 参数与数据  去估计 参数，直到估计出的参数基本正确；

很多初学的对EM感到困惑，常常被一堆公式所迷惑，这样不利于深入理解EM，在此我也不想用一堆公式去推倒这个思想的数学证明；我只想给初学EM的读者一个感性的认识以及一些学习建议：

拿K-means来做个例子，我们要求的是聚类中心，我们是怎么做的呢？我们假设若一个聚类中心，然后通过这些聚类中心去得到某些东西，然后我们通过得到这些东西再去更新聚类中心；放到GMM模型中，就是我们假设某个参数，然后通过这个参数得到某个中间变量，再用这个中间变量去更新参数！

如果你还不能理解？ 

在概率中我们一个数据的期望是不是可以用成我们观测数据的均值去估计，如果两者一致，就叫无偏估计，好了，这是一个统计与估计相互验证的问题，GMM中就是这样一个思路：数据的统计与估计相互验证，我猜个参数，用参数去进行统计，再用统计值对参数进行估计！（再次强调我这里说的不是EM的证明，EM的证明指的的为什么我这么做最后能趋向于正确！是一个收敛性证明！）

 

如果你想从感性到理性逐渐理解：

建议你首先看看三个硬币模型，再去看下GMM的实际执行过程，再去看下EM的证明，结合起来，相信很快就能理解！

下面是EM算法在三个硬币模型中的代码

<
最低0.47元/天 解锁文章
wangxin110000
关注
专栏目录
三硬币模型matlab代码-comparing_voting_systems:比较不同投票系统的模型（由Keegan和Manvir创建）
06-08
三硬币模型matlab代码compare_voting_systems 比较不同投票系统的模型 'voting_simulations.m' 文件可用于比较三种不同的投票系统：先过后投票、决选投票和混合成员比例投票。 'comparing_voting_systems.m' 给出了如何使用 'voting_simulations.m' 函数文件的示例。 投票系统 先发制人 First-past-the-post (FPTP) 是北美最广为人知的系统。 在这个系统中，每个人都可以为自己喜欢的候选人投一票。 赢得席位的候选人是得票最多的候选人。 拥有最多席位的政党被认为是选举的赢家，并获得额外的好处，比如决定谁成为加拿大内阁的一员。 这个系统的好处是显而易见的。 投票系统很直观。 每个人都只有一票，这意味着选民必须简明扼要地说明他们想赢得选票的人。 此外，计票非常简单。 每次骑马只需要找一群人来算票。 然而，该系统远非完美。 在有很多政党的骑马的情况下，骑马的获胜者可能不需要获得总票数的多数。 例如，想象一下有 6 个政党的骑行，其投票比例如下所示 2/7、1/7、1/7、1/7、1/7、
EM算应用：两硬币、三硬币
约定的博客
03-05 1005
EM算法，三硬币，两硬币参数θπpqθπpqπpq\pi,p,qπpq分别表示硬币A,B,C是正面的概率。观测到了n次投掷结果，记为Yy1y2ynYy1​y2​...yn​，每次投掷10次，yi∈010yi​∈010,表示本次试验中硬币正面朝上的次数隐变量设为Zz1z2znZz1​z2​...zn​zi1z_i=1zi​1表示硬币A正面朝上，将选择硬币B投掷；
最大熵，三硬币模型的R语言代码
数据挖掘爱好者
04-28 3462
#最大熵算法 #《 统计学习方法》最大熵，三硬币模型的R语言代码    有3个硬币，分布为A、B、C，硬币正面的概率是pai，p，q。投币实验如下，先投A，如果A是正面，即A=1，那么选择投B；A=0，投C。   最后，如果B或者C是正面，那么y=1；是反面，那么y=0；   投n次，n=0，结果序列是 ：1,1,0,1,0,0,1,0,1,1 Θ是向量pai，p，q。
三硬币模型
qq_45460901的博客
05-18 2555
三硬币模型是EM算法所举的一个例子，李航的《统计学习方法》中有其公式和过程的描述。其问题为:A、B、C三枚硬币。先掷A硬币，如果A硬币朝上，掷B硬币。A硬币朝下则掷C硬币。B和C硬币的结果出现正面朝上记为1，反面朝上记为0。现有如下十次观测结果：1,1,0,1,0,0,1,0,1,1 ，已知A B C朝上的概率分别为 π,p,q，求π,p,q的极大似然估计。 现在的问题是我们只知道每次的结果(硬币的朝向)，却不知道是B硬币的结果还是C硬币的结果，也就是不知道A硬币朝上还是朝下。因此Z=(Z1,Z2,..
em算法 三硬币模型
Peiris_的博客
08-31 921
学习em算法在使用代码模拟时，发现参数并没有像想象中的那样在每一轮迭代中靠近设定的值，而是每一轮都保持不变。于是进行数学推导，发现确实在第一轮之后参数不会变化。
白话机器学习的数学-立石贤吾-源代码.zip
08-18
白话机器学习的数学-立石贤吾-源代码.zip
机器学习算法的公式推导以及numpy实现
最新发布
08-17
对于有一定基础或热衷于研究的人来说，可以在这些基础代码上进行修改和扩展，实现其他功能。 【沟通交流】：有任何使用上的问题，欢迎随时与博主沟通，博主会及时解答。鼓励下载和使用，并欢迎大家互相学习，共同...
经典机器学习算法（python实现源码）
03-14
《机器学习算法Python实现详解》 在当今大数据与人工智能的时代，机器学习已成为研究与实践的热门领域。Python作为一门易学且功能强大的编程语言，因其丰富的库支持和简洁的语法，成为了实现机器学习算法的首选工具...
机器学习算法案例实战，python实现手写数字识别等
03-10
1、资源内容：机器学习算法案例实战，python实现手写数字识别等 2、适用人群：计算机，电子信息工程、数学等专业的学习者，作为“参考资料”参考学习使用。 3、解压说明：本资源需要电脑端使用WinRAR、7zip等解压...
白话机器学习的数学.docx
09-13
白话机器学习的数学 机器学习是一种人工智能的方法论，通过让计算机自主学习数据中的规律和模式，从而完成特定的任务。机器学习有监督学习和无监督学习两种类型。在监督学习中，我们向模型提供带有标签的训练数据，...
三硬币模型matlab代码-CodeQL-Guide:CodeQL指南
06-08
三硬币模型matlab代码 CodeQL 指南 涵盖 CodeQL 的指南，包括应用程序和工具，这些应用程序和工具将使您成为更好、更高效的 CodeQL 开发人员。 注意：您可以使用这个方便的扩展名轻松地将此 Markdown 文件转换为 PDF。 目录 CodeQL 学习资源 是开发人员用来自动进行安全检查和安全研究人员用来执行变体分析的分析引擎。 在 CodeQL 中，代码被视为数据。 安全漏洞、错误和其他错误被建模为可以针对从代码中提取的数据库执行的查询。 CodeQL 工具和框架 是一种连接所有开发工具以自动化开发工作流程每一步的工具。 此外，您可以轻松部署到任何云、在 Jira 中创建票证或将包发布到 npm。 是一种用于为安全研究创建数据库的工具。 您可以直接从命令行或使用 Visual Studio Code 扩展查询 CodeQL 数据库。 是一个工具，它运行 GitHub 行业领先的语义代码分析引擎 CodeQL，针对存储库的源代码以查找安全漏洞。 然后它会自动将结果上传到 GitHub，以便它们可以显示在存储库的安全选项卡中。 CodeQL 运行一组可扩展的 ，由社
EM算法在三枚硬币问题中的实现
07-14
对EM算法进行解释时，常常用三枚硬币的问题进行举例，尝试对此用matlab进行编码实现，利于初学者交流。
统计计算-EM算法（R语言）
08-01
最大期望算法是一类通过迭代进行极大似然估计的优化算法 ，通常作为牛顿迭代法的替代用于对包含隐变量或缺失数据的概率模型进行参数估计。EM算法的标准计算框架由E步和M步交替组成，算法的收敛性可以确保迭代至少逼近局部极大值。文档内有例子和代码以及运行结果。
Em算法（python实现）——三硬币问题
wurobb的博客
01-05 637
em算法
(最大期望)EM算法案例详解
weixin_43972621的博客
09-08 3555
一、EM算法简介 EM算法全称为Exception Maximization Algorithm，即最大期望算法，以下简称EM算法。它是一种迭代的算法，主要用于含有隐变量的概率参数模型的极大似然和极大后验概率估计。EM算法也经常用于机器学习和计算机视觉的聚类领域，是一个非常重要的算法。 二、EM算法原理 要了解EM算法，就必须先了解极大似然估计，因为整个的EM算法的演算、推导，都...
EM算法(Expectation-Maximum)与双硬币问题的求解（附代码实现）
小吴同学的小屋
04-26 1077
EM算法(Expectation-Maximum)与双硬币问题的求解（附代码实现） 不卖茶的吴龙茗茶 EM算法是一种迭代优化策略，由于它的计算方法中每一次迭代都分两步，其中一个为期望步（E步），另一个为极大步（M步），所以算法被称为EM算法（Expectation-Maximization Algorithm），最初是为了解决数据缺失情况下的参数估计问题。双硬币问题可以作为一个非常好的实例： 假如有五枚硬币，没枚.
EM算法系列-三硬币问题
xxuffei的博客
05-13 1162
来自https://www.jianshu.com/p/f4ff48025c52 https://blog.csdn.net/wendaomudong_l2d4/article/details/79005461 1、引言 概率模型有时既含有观测变量，又含有隐变量或潜在变量，如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计法，或贝叶斯估计法估计模型参数，但是，当模型中含有隐变量时...
机器学习之EM算法的原理及推导(三硬币模型)及Python实现
hongwei的博客
05-20 4054
EM算法的简介 EM算法由两步组成：E步和M步，是最常用的迭代算法。 本文主要参考了李航博士的《统计学习方法》 在此基础上主要依据EM算法原理补充了三硬币模型的推导。 1.EM算法的原理 1.1从一个例子开始 三硬币模型 假设有3枚硬币，分别记作A，B和C。 这些硬币正面向上的概率分别是 π,p\pi,pπ,p 和 qqq 。进行如下抛硬币试验： 1、先抛硬币A, 根据其结果选出硬币B或者硬币C，正面选硬币B，反面选硬币C； 2、然后掷选出的硬币，抛硬币的结果，出现正面记作1，出现反面记作0； 3、独.
统计学习 EM算法应用-三硬币模型
一只老风铃
01-09 2348
【问题描述】 假设有三枚硬币，分别记为A、B、C。这些硬币正面的概率分别为π，p，q，进行如下的抛硬币实验：先掷硬币A，根据其结果选出硬币B或者硬币C，正面选硬币B，反面选硬币C，然后掷选出的硬币，掷硬币的记过，出现正面记作1，出现反面记作0，独立地重复n次实验（这里n=10），然后观测结果如下： 1，1，0，1，0，0，1，0，1，1 假设只能观测到掷硬币的结果，不能观测掷硬币的过程，问如...
白话机器学习的数学 python 代码
05-14
机器学习中最常用的数学工具是线性代数、微积分和概率论。下面是一些基本的数学概念和 Python 代码示例： 1. 向量和矩阵 向量是一列数字，矩阵是一个二维数组。在 Python 中，可以使用 NumPy 库来创建和操作向量和矩阵。 ```python import numpy as np # 创建向量 v = np.array([1, 2, 3]) # 创建矩阵 m = np.array([[1, 2], [3, 4], [5, 6]]) # 矩阵乘法 result = np.dot(m, v) print(result) ``` 2. 梯度下降 梯度下降是一种优化算法，用于最小化损失函数。在 Python 中，可以使用 NumPy 和 SciPy 库来实现梯度下降算法。 ```python import numpy as np from scipy.optimize import minimize # 定义损失函数 def loss_function(w, X, y): y_hat = np.dot(X, w) return np.mean((y_hat - y) ** 2) # 定义梯度函数 def gradient(w, X, y): y_hat = np.dot(X, w) return np.dot(X.T, y_hat - y) / len(y) # 使用梯度下降算法求解 X = np.array([[1, 2], [3, 4], [5, 6]]) y = np.array([1, 2, 3]) w0 = np.zeros(X.shape[1]) res = minimize(loss_function, w0, args=(X, y), jac=gradient) print(res.x) ``` 3. 偏导数和梯度 偏导数是多元函数中某个变量的导数，梯度是多元函数的导数向量。在 Python 中，可以使用 SymPy 库来计算偏导数和梯度。 ```python from sympy import symbols, diff # 定义符号变量和函数 x, y = symbols('x y') f = x ** 2 + y ** 3 # 计算偏导数 df_dx = diff(f, x) df_dy = diff(f, y) print(df_dx, df_dy) # 计算梯度 grad = [diff(f, var) for var in [x, y]] print(grad) ``` 4. 概率分布和随机变量 概率分布是随机变量可能取值的概率分布。在 Python 中，可以使用 SciPy 库来计算概率分布和随机变量。 ```python from scipy.stats import norm # 定义正态分布 mu, sigma = 0, 1 dist = norm(mu, sigma) # 计算概率密度函数和累积分布函数 x = np.linspace(-3, 3, 1000) pdf = dist.pdf(x) cdf = dist.cdf(x) # 生成随机变量 samples = dist.rvs(1000) ``` 以上是一些基本的数学概念和 Python 代码示例。在机器学习中，还会涉及到更高级的数学工具，如矩阵分解、优化理论、贝叶斯统计等。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值