关闭

【机器学习】高斯混合模型GMM和EM算法

标签: 机器学习计算机视觉图像处理opencvc语言
1347人阅读 评论(0) 收藏 举报
分类:

       百度百科高斯混合模型就是用高斯概率密度函数正态分布曲线)精确地量化事物,它是一个将事物分解为若干的基于高斯概率密度函数(正态分布曲线)形成的模型


      高斯混合模型(GMM),顾名思义,就是数据可以看作是从数个单高斯分布(GSM)中生成出来的。虽然我们可以用不同的分布来随意地构造 XX Mixture Model ,但是 GMM最为流行。另外,Mixture Model 本身其实也是可以变得任意复杂的,通过增加 Model 的个数,我们可以任意地逼近任何连续的概率密分布。


1  单高斯模型GSM


2  高斯混合模型GMM

      有一批观察数据,数据个数为n,在d 维空间中的分布不是椭球状,不适合以一个单一的高斯密度函数来描述这些数据点的概率密度函数。假设每个点均由一个单高斯分布生成,而这一批数据共由K(需要事先确定好)个单高斯模型生成,具体某个数据属于哪个单高斯模型未知,且每个单高斯模型在混合模型中占的比例未知,将所有来自不同分布的数据点混在一起,该分布称为高斯混合分布。

从数学上讲,我们认为单个数据点的概率分布密度函数可以通过加权函数表示:



       GMM是一种聚类算法,其中的每一个单一的高斯分布N(x;uk,Σk)叫作这个模型的一个component,每个component就是一个聚类中心。即在只有样本点,不知道样本分类(含有隐含变量)的情况下,计算出模型参数(π,u和Σ)----这显然可以用EM算法来求解。


       有N个数据点,服从某种分布P(x;θ),我们想找到一组参数θ,使得它所确定的概率分布,生成这些数据点的概率最大,这个概率就是,我们把这个乘积称作似然函数 (Likelihood Function)。通常单个点的概率都很小,许多很小的数字相乘起来在计算机里很容易造成浮点数下溢,因此我们通常会对其取对数,把乘积变成加和,得到对似然函数( log-likelihood function )。接下来我们只要将这个函数最大化(通常的做法是求导并令导数等于零,然后解方程),即找到这样一组参数值,它让似然函数取得最大值,我们就认为这是最合适的参数,这样就完成了参数估计的过程。(“期望最大化算法”名字由此而来)

也就是


求出参数,使得最大就可以。


EM法求解高斯混合模型参数:


1、初始化


2、估计步骤(E-step)

       E就是Expectation的意思,就是假设模型参数已知的情况下,求隐含变量Z分别取z1,z2,...的期望,亦即Z分别取z1,z2,...的概率。在GMM中就是求数据点由各个 component生成的概率。


3、最大化步骤(M-step)


4、收敛条件



推荐相关博客:

高斯混合模型学习笔记


下一篇博客:高斯混合模型在opencv中的源码详解







0
0
查看评论

高斯混合模型(GMM)及其EM算法的理解

一个例子高斯混合模型(Gaussian Mixed Model)指的是多个高斯分布函数的线性组合,理论上GMM可以拟合出任意类型的分布,通常用于解决同一集合下的数据包含多个不同的分布的情况(或者是同一类分布但参数不一样,或者是不同类型的分布,比如正态分布和伯努利分布)。如图1,图中的点在我们看来明显...
  • jinping_shi
  • jinping_shi
  • 2017-03-02 18:43
  • 9839

机器学习读书笔记(高斯混合模型GMM与EM)(改)

高斯混合模型(Gaussian mixture model,GMM)是单一高斯概率密度函数的延伸。GMM能够平滑地近似任意形状的密度分布。欲了解高斯混合模型,那就先从基础的单一高斯概率密度函数讲起。(数学公式字体太难看了!!!!!!!) 注意:这一一篇致力于详细阐述过程的文章,如果你懂,可以快速跳过...
  • dajiabudongdao
  • dajiabudongdao
  • 2016-07-12 22:12
  • 1225

GMM高斯混合模型学习笔记(EM算法求解)

提出混合模型主要是为了能更好地近似一些较复杂的样本分布,通过不断增加component个数,可以任意地逼近任何连续的概率分布,所以我们认为任何样本分布都可以用混合模型来建模。因为高斯函数具有一些很实用的性质,所以高斯混合模型被广泛地使用。     GMM与k...
  • happyer88
  • happyer88
  • 2015-06-11 23:02
  • 2465

斯坦福大学机器学习——EM算法求解高斯混合模型

EM算法(Expection-Maximizationalgorithm,EM)是一种迭代算法,通过E步和M步两大迭代步骤,每次迭代都使极大似然函数增加。但是,由于初始值的不同,可能会使似然函数陷入局部最优。辜丽川老师和其夫人发表的论文:基于分裂EM算法的GMM参数估计(提取码:77c0)改进了这一...
  • linkin1005
  • linkin1005
  • 2014-11-17 16:57
  • 24107

高斯混合模型(GMM)的EM算法实现

在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering,Ncut一文中我们给出了GMM算法的基本模型与似然函数,在EM算法原理中对EM算法的实现与收敛性证明进行了详细说明。本文主要针对如何用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。 GMM模...
  • u013360881
  • u013360881
  • 2015-07-15 09:48
  • 2161

高斯混合模型和EM算法(JerryLead的读书笔记)

原文为Stanford的ML课程的讲义,notes7b。经JerryLead翻译,文章在混合高斯模型(Mixtures of Gaussians)和EM算法。翻译的不错,因此基本全文粘贴过来,对其中部分进行勘误和说明 与k-means一样,给定的训练样本是,我们将隐含类别标签用表示。与k-...
  • simplelove17
  • simplelove17
  • 2015-03-26 16:28
  • 866

机器学习高斯混合模型(后篇):GMM求解完整代码实现

《实例》阐述算法,通俗易懂,助您对算法的理解达到一个新高度。包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,Kaggle 实战。期待您的到来!01 — 回顾前面推送中,我们介绍了高斯混合模型(GMM)的聚类原理,以及聚类求解的公式推导,如果您想了解这部分,请参考之前的推送: ...
  • daigualu
  • daigualu
  • 2017-12-04 09:46
  • 263

高斯混合模型(GMM)实现和可视化

高斯分布公式及图像示例 高斯分布概率密度热力图 高斯混合模型实现代码 高斯混合模型聚簇效果图
  • u012176591
  • u012176591
  • 2015-05-27 20:08
  • 5801

EM算法与GMM的训练应用

注:本文主要参考Andrew Ng的Lecture notes 8,并结合自己的理解和扩展完成。本文有的数学推导过程并不是那么的严密,主要原因是本文的目的在于理解原理,若数学推导过于严密则文章会过于冗长。GMM简介GMM(Gaussian mixture model) 混合高斯模型在机器学习、计算机...
  • he___
  • he___
  • 2015-05-09 11:38
  • 2804

EM算法之高斯混合模型详细推导过程

高斯混合模型 如果有c个高斯分布,并且这k个个高斯分布的选择都符合多项式分布,那么有下面的公式 那么样本x 是一个服从多元高斯分布的随机试验中产生的抽样 那么可以写出关于样本值(第i个样本)的概率密度函数,假设一共c个类别 那么我们可以定义m个观测...
  • omadesala
  • omadesala
  • 2014-05-27 13:19
  • 6823
    个人资料
    • 访问:73430次
    • 积分:1208
    • 等级:
    • 排名:千里之外
    • 原创:56篇
    • 转载:1篇
    • 译文:1篇
    • 评论:18条
    博客专栏
    文章分类
    最新评论