机器学习 混合高斯模型再述

转载 2013年12月03日 19:22:55

下面介绍一下几种典型的机器算法

首先第一种是高斯混合模型算法:

高斯模型有单高斯模型(SGM)和混合高斯模型(GMM)两种。

(1)单高斯模型:

为简单起见,阈值t的选取一般靠经验值来设定。通常意义下,我们一般取t=0.7-0.75之间。

二维情况如下所示:

(2)混合高斯模型:

 

      对于(b)图所示的情况,很明显,单高斯模型是无法解决的。为了解决这个问题,人们提出了高斯混合模型(GMM),顾名思义,就是数据可以看作是从数个高斯分布中生成出来的。虽然我们可以用不同的分布来随意地构造 XX Mixture Model ,但是 GMM是 最为流行。另外,Mixture Model 本身其实也是可以变得任意复杂的,通过增加 Model 的个数,我们可以任意地逼近任何连续的概率密分布。

    每个 GMM 由 K 个 Gaussian 分布组成,每个 Gaussian 称为一个“Component”,这些 Component 线性加成在一起就组成了 GMM 的概率密度函数:

 

                (1)

其中,πk表示选中这个component部分的概率,我们也称其为加权系数。

根据上面的式子,如果我们要从 GMM 的分布中随机地取一个点的话,实际上可以分为两步:

(1)首先随机地在这 K 个 Component 之中选一个,每个 Component 被选中的概率实际上就是它的系数 πk,选中了 Component 之后,再单独地考虑从这个 Component 的分布中选取一个点就可以了──这里已经回到了普通的 Gaussian 分布,转化为了已知的问题。假设现在有 N 个数据点,我们认为这些数据点由某个GMM模型产生,现在我们要需要确定 πk,μk,σk 这些参数。很自然的,我们想到利用最大似然估计来确定这些参数,GMM的似然函数如下:

        (2)

 

在最大似然估计里面,由于我们的目的是把乘积的形式分解为求和的形式,即在等式的左右两边加上一个log函数,但是由上文博客里的(2)式可以看出,转化为log后,还有log(a+b)的形式,因此,要进一步求解。

我们采用EM算法,分布迭代求解最大值:

EM算法的步骤这里不作详细的介绍,可以参见博客:

http://blog.pluskid.org/?p=39

(斯坦福机器学习课程笔记)混合高斯模型,朴素贝叶斯,混合朴素贝叶斯模型,因子分析

==============================混合高斯模型========================== 混合高斯模型是一个无监督的聚类算法,他认为各个类别的样本都分别服从高斯分...
  • qq_32231743
  • qq_32231743
  • 2017年03月06日 11:27
  • 583

机器学习----混合高斯模型

转载:http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006924.html      这篇讨论使用期望最大化算法(Expectation-M...
  • zhouwenyuan1015
  • zhouwenyuan1015
  • 2017年09月27日 17:54
  • 62

[转]再述权限管理

作者:菲戈 我这里说到的权限管理办法是一个普遍采用的方法,主要是使用到"位运行符"操作,& 位与运算符、| 位或运行符。参与运算的如果是10进制数,则会被转换至2进制数参与运算,然后计算结果会再转换为...
  • bjbs_270
  • bjbs_270
  • 2005年10月12日 15:19
  • 1847

再述设计模式——基础知识

小组谈论的设计模式,收获很多,下面我们来说说设计模式的核心——七大原则。 一: 什么是设计模式?        首先,我们阐述一下模式的定义。模式最早从建筑行业而来,也就是对一些住宅和城市环境共同认识...
  • u013047824
  • u013047824
  • 2015年08月23日 17:05
  • 754

再述权限管理

  我这里说到的权限管理办法是一个普遍采用的方法,主要是使用到"位运行符"操作,& 位与运算符、| 位或运行符。参与运算的如果是10进制数,则会被转换至2进制数参与运算,然后计算结果会再转换为10进制...
  • gzzzz
  • gzzzz
  • 2004年10月08日 11:50
  • 1084

再述GPL授权

对于程序开发者来说,GPL实在是一个非常好的授权,因为大家可以互相学习对方的程序编写技巧,而且自己写的程序也有人可以帮忙排错。现今存在的开源协议很多,而经过Open Source Initiative...
  • luckydarcy
  • luckydarcy
  • 2016年12月10日 04:50
  • 1254

述标讲解技术方案感想

今天参加了一个系统集成项目的招标活动,被安排负责述标,有一些感想,简录如下:   1、首先要跟代理商做好沟通,详细了解代理商投标使用的标书内容,再根据标书内容商定技术方案的编写;避免讲解的技术方案跟...
  • guangshi007
  • guangshi007
  • 2015年03月26日 23:59
  • 899

高斯混合模型及代码实现

通过学习概率密度函数的Gaussian Mixture Model (GMM) 与 k-means 类似,不过 GMM 除了用在 clustering 上之外,还经常被用于 density estim...
  • qq_28168421
  • qq_28168421
  • 2017年03月23日 13:58
  • 366

斯坦福ML公开课笔记13A——混合高斯模型、混合贝叶斯模型

本文对应公开课的第13个视频,这个视频仍然和EM算法非常相关,第12个视频讲解了EM算法的基础,本视频则是在讲EM算法的应用。本视频的主要内容包括混合高斯模型(Mixture of Gaussian,...
  • xinzhangyanxiang
  • xinzhangyanxiang
  • 2014年05月28日 19:35
  • 6075

混合高斯模型

高斯模型就是用高斯概率密度函数(正态分布曲线)精确地量化事物, 将一个事物分解为若干的基于高斯概率密度函数(正态分布曲线)形成的模型。 对图像背景建立高斯模型的原理及过程: 图像灰度直方...
  • zyzhangyue
  • zyzhangyue
  • 2015年05月18日 21:17
  • 520
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习 混合高斯模型再述
举报原因:
原因补充:

(最多只允许输入30个字)