高斯混合模型（GMM）原理

最新推荐文章于 2024-12-29 19:43:25 发布

沙漠之狐MSFollower

最新推荐文章于 2024-12-29 19:43:25 发布

阅读量2.4k

点赞数

分类专栏：机器学习数据挖掘

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/LiuPeiP_VIPL/article/details/72977288

版权

机器学习同时被 2 个专栏收录

32 篇文章

订阅专栏

5 篇文章

订阅专栏

本文详细介绍了高斯混合模型(GMM)的基本原理及应用，包括如何计算样本点在GMM上的概率、如何更新模型参数以实现聚类效果最优化，并通过迭代过程确保模型收敛。

摘要由CSDN通过智能技术生成

GMM（高斯混合模型主要用于聚类）

（1）某样本点 x_i 在GMM上的概率为：

$P(x_i)=\sum_{k=1}^{K}\pi _kP(x_i|k)$

其中，GMM由K个单GM构成： $\pi_k$ 表示第k个GM的权重； P(x_i|k) 为该样本在第k个GM（其均值为 $\mu _k$ ，方差为 $\sigma _k$ ）的概率。

则所有的N个样本点在GMM上的概率为:

$P(X)=P(x_1,x_2,...x_N)=\prod_{i=1}^{N}P(x_i)=\prod_{i=1}^{N}\left [ \sum_{k=1}^{K}\pi_kP(x_i|k) \right ]$

采用对数形式，则得到其似然函数：

$logP(X)=log\prod_{i=1}^{N}\left [ \sum_{k=1}^{K}\pi_kP(x_i|k) \right ]=\sum_{i=1}^{N}log\left [ \sum_{k=1}^{K}\pi_kP(x_i|k) \right ]$

我们的目标是：最大化logP(X)，使所有样本在高斯混合模型GMM上的概率最大。其中， P(x_i|k) 又可以表示为 $N(x_i|\mu_k,\sigma _k )$ 。

（2）第i个样本 x_i 由第k个GM模型生成的概率为：

$P(x_i|k)=\frac{\pi_kN(x_i;\mu_k,\sigma_k)}{\sum_{k=1}^{K}{\pi_kN(x_i;\mu_k,\sigma_k)}}$

其中，分子表示样本 x_i 由第k个模型生成的概率，分母表示样本 x_i 由所有模型生成的概率。

（3）第k个GM模型的均值，由在该模型上的所有样本数据共同决定：

$\mu_k=\frac{\sum_{i=1}^{N}P(x_i|k)x_i}{\sum_{i=1}^{N}P(x_i|k)}$

同理，我们可以得到：

$\sigma _k=\frac{\sum_{i=1}^{N}P(x_i|k)(x_i-\mu_k)(x_i-\mu_k)^T}{\sum_{i=1}^{N}P(x_i|k)}$

$\pi_k=\frac{1}{N}\sum_{i=1}^{N}P(x_i|k)$

（4）我们将（3）中求得的 $\mu_k,\sigma_k,\pi_k$ 代入logP(X)，考察是否与上一轮参数构成的logP(X)相收敛（即差值小于一定的阈值）；若不收敛，则继续进行（2）（3）步进行迭代操作，直至收敛。当logP(x)收敛时：对于样本 x_i ，在（2）中计算出它在各GM中的生成概率，则该样本服从最大生成概率的那个GM。

注：初始时的 P(x_i|k) ，可以对 $\mu_k,\sigma_k,\pi_k$ 进行随机赋值得到。

参考：

http://www.cnblogs.com/CBDoctor/archive/2011/11/06/2236286.html

http://blog.sina.com.cn/s/blog_54d460e40101ec00.html

http://blog.csdn.net/crzy_sparrow/article/details/7413019

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。