机器学习-无监督学习-聚类方法（六）：高斯混合模型（GMM）【用最大期望值算法（EM）求解】【K个单高斯模型的线性组合；每个单高斯模型对应一种类别；优于K-means。参数：方差σ、均值μ、权值π】

已于 2023-02-22 13:24:14 修改
阅读量3.3k 收藏 16
点赞数 1
分类专栏： # ML/聚类(无监督) 文章标签： 人工智能 聚类 高斯混合模型 GMM
于 2021-04-13 11:35:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/115659581
版权
高斯混合模型（GMM）是一种常用的聚类算法，它利用高斯分布作为参数模型，通过期望最大（EM）算法进行训练。相较于K-means，GMM具有更强的描述能力，可以处理不同尺度和形状的类簇。GMM的训练过程涉及参数μ、σ和权重π的迭代优化，确保模型更好地拟合数据分布。在特定情况下，K-means可以视为GMM的特例。
摘要由CSDN通过智能技术生成

高斯混合模型（Gaussian Mixture Model）通常简称GMM，是一种业界广泛使用的聚类算法，该方法使用了高斯分布作为参数模型，并使用了期望最大（Expectation Maximization，简称EM）算法进行训练。

实际上在特定约束条件下，K-means算法可以被看作是高斯混合模型（GMM）的一种特殊形式。

缺点为易收敛到局部最优解。

一、什么是高斯分布？

高斯分布（Gaussian distribution）有时也被称为正态分布（normal distribution），是一种在自然界大量的存在的、最为常见的分布形式。在提供精确数学定义前，先用一个简单的例子来说明。

如果我们对大量的人口进行身高数据的随机采样，并且将采得的身高数据画成柱状图，将会得到如下图1所示的图形。这张图模拟展示了334个成人的统计数据，可以看出图中最多出现的身高在180cm左右2.5cm的区间里。

在这里插入图片描述
图1 由334个人的身高数据构成的正态分布直方图

这个图形非常直观的展示了高斯分布

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
聚类算法-高斯混合模型GMM
11-03
**聚类算法——高斯混合模型（GMM）详解** 聚类是无监督学习的一种重要方法，主要用于数据的分类和模式发现，不依赖于预先存在的标签。在众多聚类算法中，高斯混合模型（Gaussian Mixture Model，简称GMM）是一种...
【无监督学习】聚类算法：高斯混合模型GMM
m0_67790374的博客
04-05 1785
【无监督学习】聚类算法：高斯混合模型GMM
GMM聚类算法（公式证明分析）
TH_NUM的博客
04-16 1262
高斯分布 p(x∣μ,σ2)=12πσexp(−(x−μ)22σ2)p(x|\mu, \sigma^2)=\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(x-\mu)^2}{2\sigma^2})p(x∣μ,σ2)=2π​σ1​exp(−2σ2(x−μ)2​) d维多元高斯分布 p(x∣μ,∑)=12πd2∣∑∣12exp(−12(x−μ)∑(x−μ))p(x|\mu...
【BP回归预测】凌日算法优化BP神经网络TSOA-BP光伏数据预测（多输入单输出）【含Matlab源码 5170期】
最新发布
Matlab领域的博客
07-20 964
凌日算法优化BP神经网络TSOA-BP光伏数据预测（多输入单输出） 完整代码和数据，方可运行；数据可直接替换，适合小白！可提供运行操作视频！
无监督学习 | GMM 高斯混合聚类原理及Sklearn实现
侠的博客
10-09 9613
文章目录1. 高斯混合聚类1.1 高斯混合分布1.2 参数求解1.3 EM 算法2. Sklearn 实现参考文献 相关文章： 机器学习 | 目录 机器学习 | EM 算法原理 无监督学习 | KMeans与KMeans++原理 无监督学习 | KMeans之Sklearn实现：电影评分聚类 本文大部分内容搬运自周至华老师的《机器学习》[1]。 1. 高斯混合聚类 与 kkk 均值 用原型向量来刻...
GMM的EM算法实现
热门推荐
Rachel Zhang的专栏
11-19 13万+
在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了详细说明。本文主要针对如何用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GMM模型：每个 GMM 由 K 个 Gaussian 分布组成，每个 Gaussian 称为一个“Co
小白都能了解的聚类算法之一(Kmeans与GMM)
bitcarmanlee的博客
03-24 7040
1.标准Kmeans 经典的标准kmeans算法无需多言，每个无监督学习的开场白一般都是标准kmeans算法。具体的原理不再多言，可以参考之前的文章： https://blog.csdn.net/bitcarmanlee/article/details/52092288 标准的kmeans的优缺点，上面的文章也有详细介绍，再详细说一说kmeans++对于初始中心点的优化 kmeans++中心点初始...
详解高斯混合聚类(GMM)算法原理
babyai996的博客
04-08 1万+
GMM算法假设数据点是由一个或多个高斯分布生成的，并通过最大似然估计的方法来估计每个簇的高斯分布的参数。总的来说，GMM是一种非常有效的聚类算法，使用场景多样，如在体育领域，GMM聚类算法也可以用于运动行为检测，使用GMM聚类算法对跑步数据进行聚类，以便更加准确地识别不同的跑步状态。可以看到，人员1、人员2、人员3和人员6属于聚类1，人员5和人员8属于聚类2，人员4和人员7属于聚类3。假设聚类的数量为3。可以看到，人员1属于聚类1的概率是0.96，属于聚类2的概率是0.03，属于聚类3的概率是0.01。
ML之GMM：高斯混合模型（Gaussian Mixture Model）聚类算法的简介、使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
08-19 1万+
​ ML之GMM：高斯混合模型（Gaussian Mixture Model）聚类算法的简介、使用方法、案例应用之详细攻略 目录 GMM聚类算法的简介 GMM聚类算法的使用方法 GMM聚类算法的案例应用 GMM聚类算法的简介 高斯混合模型（Gaussian Mixture Model，简称GMM）是一种常用的聚类算法，也可以用于概率密度估计。它将数据集看作是由多个高斯分布组成的混合模型，每个高斯分布代表一个聚类簇。GMM的目标是通过估计每个高斯分布的参数，以及各个数据点属于每个高斯分布的
机器学习算法原理-聚类算法_V3.pdf
12-18
### 机器学习算法原理——聚类算法概览 #### 一、K-means聚类算法 **1.1 K-means聚类原理** K-means是一种常用的无监督学习方法，用于将一组未标记的数据集划分为K个不同的簇(cluster)，其中每个簇由簇内的数据点...
AI人工智能课程 机器学习算法班第4讲：最大熵模型与EM算法 共38页.pdf
07-14
### AI人工智能课程 机器学习算法班第4讲：最大熵模型与EM算法 #### 一、信息论基础 信息论是一门研究信息的基本特性和如何有效地传输与存储信息的学科。在这一章节中，我们将探讨信息论的基础概念，包括信息、熵...
GMM_EM.rar_EM算法求解GMM_GMM求解过程_gmm的em实现_用了EM算法
07-15
EM（期望最大化，Expectation-Maximization）算法是求解GMM的一种常用方法，其通过迭代优化模型参数，使得数据点在当前模型下的对数似然性最大。 EM算法由两个步骤构成：E（期望）步骤和M（最大化）步骤。在E步骤中...
K-Means聚类 和 高斯混合模型(GMM)
上山的人
04-06 3419
https://vdn3.vzuu.com/SD/74c0021a-23d0-11eb-8ced-56dd061dbff2.mp4?disable_local_cache=1&auth_key=1649232464-0-0-fe1700297ff7cb2508dd305cade8d776&f=mp4&bu=pico&expiration=1649232464&v=tx
GMM聚类模型（高斯混合聚类）
王大阳的博客
07-22 3655
1.查看数据 查看数据类型 import pandas as pd data = pd.read_csv ('Fremont.csv', index_col='Date', parse_dates=True) data.head() data.tail() 绘图 data.plot(); 数据重采样，按天进行计算 data.resample('D').sum().head()...
高斯混合模型GMM及期望最大化EM算法详解
酒酿小圆子呀～
05-23 1487
与假设球形簇的k-means不同，由于协方差分量，gmm可以适应椭球形状。这使得gmm能够捕获更多种类的簇形状。由于使用协方差矩阵和混合系数，可以处理不同大小的聚类，这说明了每个聚类的分布和比例。GMM提供了属于每个簇的每个点的概率(软分配)，这可以在理解数据时提供更多信息。可以处理重叠的集群，因为它根据概率而不是硬边界为集群分配数据点。易于解释聚类结果，因为每个聚类都由具有特定参数的高斯分布表示。除了聚类，GMM还可以用于密度估计和异常检测。需要提前指定分量(簇)的数量。
聚类算法之高斯混合模型聚类 (Gaussian Mixture Model, GMM)
极光喵的博客
03-21 5241
在E-step中，我们计算了每个数据点属于每个高斯分布的概率，这个概率可以看作是该数据点对该高斯分布均值更新的权重。例如，我们看到一个红色的圆形水果，我们可能会猜测这有70%的可能是苹果，10%的可能是桃子，20%的可能是梨。继续刚才的例子，如果我们看一个水果，觉得它有70%的可能性是苹果，20%的可能性是梨，10%的可能性是桃子。计算桃子的高斯分布时，它会以10%的“力量”参与。具体来说，每个数据点对高斯分布参数的贡献是按照它的权重来的，这就是为什么我们计算所有数据点的加权平均值作为新的参数。
GMM聚类
weixin_40316062的博客
04-13 2836
GMM聚类 高斯分布 GMM 一、参数初始化 # GMM 参数初始化 # dataset: [N,D] # K : cluster的个数（高斯成分的个数） def init_GMM(dataset,K): N,D = np.shape(dataset) val_max = np.max(dataset,axis=0) val_min = np.min(dataset,axis=0) centers = np.linspace(val_min,val_max,num=
高斯混合模型知识与程序
alaclp的专栏
04-16 1164
漫谈 Clustering (3): Gaussian Mixture Model by pluskid, on 2009-02-02, in Machine Learning     96 comments 本文是“漫谈 Clustering 系列”中的第 4 篇，参见本系列的其他文章。 上一次我们谈到了用 k-means 进行聚类的方法，这次我们来说一下另一个很
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值