GMM 与 KDE 区别与联系

原创 2013年12月19日 13:59:16

GMM 与 KDE 区别与联系

对拿到的一堆数据,可以通过KDE方法来估计概率密度,Parzen 窗方法通过使用不同的窗口作为基底,用函数逼近的思路来逼近真实的分布函数,混合高斯模型,同样也用了多个高斯分布做了线性组合来拟合隐含的分布,看起来高斯混合模型也可以用来做概率密度估计,那么到底这两者之间是否是相似的呢?又或者有什么不同呢先来看他们各自的公式

混合高斯模型:

其中 N 表示 Component 的个数,也就是由多少个高斯分布来进行混合,表示每一个Component的权重,它是一个概率意义上的量,代表了一个观测数据由第i个Component生成的概率,因此

其中, 代表了第k个Component的概率密度函数

从这个公式上面可以看到,一般高斯混合模型的用途是用来做分类判别用,第k个Component代表了第k类,如果我们已经有了第k类的信息,那么我们就可以判定一个数据是属于第k类的概率,这个概率值就是,因此对K个可能的分类,我们就会得到把当前的数据分类到第k类的概率为

用高斯模型的线性组合来拟合未知的分布,有研究表明有过拟合的问题存在,物理意义并不明显,不像KDE有窗的概念,有窗的宽度等东西,因此他们的解释是不一样的

KDE 的概念是从直方图的概率中过度来的,我们看看KDE的定义是如何得到的

我们以一维的情况来举例,假设在某未知分布下,观测了N次得到N个结果,这是为了保证这N个数据是独立同分布的。我们考察一个给定的区间R在这N个数据中,有K个落在R中的情况,很明显,这属于二项分布的情况

k 的期望值是

其中P是,

可以这么来理解k的期望,就是一共有N个数据,区间R中有k个的平均值就是nP,这是二项分布的特点 ,因此因此我们可以用下面的公式来估计k

对这个公式进行一下变形,得到如下公式


这就可以是k的一个概率估计,当样本数n很大的时候,这个估计就越准确

现在假设区域R足够小,然后在R的这个小区域里面,p(x)的值变化都非常小,可以近似相等,那么在R中取值,我们可以计算这个R区间内的面积,也就是有k个数据在R中的概率

这里的R本身就代表了区间的长度,但是为了扩展到更高纬度的方便,这里用体积V来表示,一维的情况下是长度,二维情况下是面积,三维情况下是体积,对N维情况下就要用到测度来表示了,测度其实就是一种更严格的定义的关于不同维度下的“体积“的一种度量。

为了得到概率密度的表达式,我们只需要把上面等式的后面部分做一个变形就可以得到:

现在来看这里得到的理论结果:假设有一系列包含x的区域,对采用一个样本进行估计,对采用两个样本进行估计,对采用n个样本进行估计,也就是逐渐增加样本个数的方式来构建区域。的体积,的第n次估计,有下面的结论:




则,收敛于两种选择方法

  1. 选择 比如同时对加限制以保障收敛,此法称为Parzen窗方法
  2. 选择 比如,为正好包含x的个近邻,此法为近邻估计

Parzen 窗方法

概率密度的估计公式为:,设区域是以为棱长的d维超立方体,则立方体的体积为:

定义一个窗函数,

求出落入超立方体的样本个数
如果某一样本落入该超立方体,则有,否则落入该立方体的样本数点x的概率密度为:

现在我们来对比高斯混合模型和parzen 窗方法的公式
可以看出,有两个地方不同,第一,窗的选择不同,Parzen的选择有更明确的物理意义,高斯混合模型的窗是基于函数逼近理论选择出来的,第二,系数不同,高斯混合模型需要数据来训练得出系数,Parzen 窗方法有明确的物理意义。其实如果Parzen 选择高斯窗口,样子看起来更像高斯混合模型。一般来说,高斯混合模型更多的用于分类,Parzen等KDE方法更多的用于概率密度的估计。两个方法的意义不一样。

引用 http://www.doc88.com/p-8109915473355.html
         http://www.doc88.com/p-8059993777655.html

相关文章推荐

关于Matlab绘图(1)——plot函数

plot函数用于绘制二维平面上的线性坐标曲线图,要提供一组x坐标和对应的y坐标,可以绘制分别以x和y为横、纵坐标的二维曲线。 示例: x=[0.25,0.50,0.75,1.00,1.25,1...

SIFT算法的应用--目标识别之Bag-of-words模型

SIFT算法的应用 -目标识别之用Bag-of-words模型表示一幅图像   出处:http://blog.csdn.net/v_JULY_v 。   引言 ...

linux lightdm gdm gnome kde等的区别于联系(桌面环境 窗口管理器 显示管理器)

linxu 窗口管理器(WM): 图形用户界面的视窗系统中,窗口管理器(Window Manager)是控制窗口行为与位置的软件。 分类: 窗口管理器分类不多,但是对...
  • sole_cc
  • sole_cc
  • 2015年01月17日 12:03
  • 11053

x11 gtk qt gnome kde 之间的区别和联系

一,linux本身没有图形界面,linux现在的图形界面的实现只是linux下的应用程序实现的.图形界面并不是linux的一部分,linux只是一个基于命令行的操作系统,linux和Xfree的关系就...

X Window 和GNOME、KDE的区别和联系?

X Window是Linux下的窗口系统,自诞生以后现在已经成为事实上的 类UNIX操作系统下的图形界面标准。 GNOME和KDE是基于X Windows的经过不同组织进行整合之后的桌面环境 ...
  • Blaider
  • Blaider
  • 2012年09月19日 09:35
  • 777

X11、GTK、QT、GNOME和KDE之间的区别与联系

X11、GTK、QT、GNOME和KDE之间的区别与联系 一、Linux本身没有图形界面,Linux现在的图形界面的实现只是Linux下的应用程序实现的。 图形界面并不是Linux的一部分,Li...
  • iw1210
  • iw1210
  • 2016年09月07日 22:21
  • 1388

GNOME、XWindow、KDE区别?

很多LINUX初学者分不清楚linux和X之间,X和Xfree86之间,X和KDE,GNOME等之间是什么关系.常常混淆概念,我想以比较易于理解 的方式说明一下X,X11,XFREE,WM,KDE,G...
  • yaomoon
  • yaomoon
  • 2014年04月16日 18:24
  • 716

GNOME和KDE两种图形界面有什么区别?

KDE与GNOME是很类似的:它们在本质上都是桌面环境,必须和窗口管理器配合使用,以提供类似于MS-Windows、CDE和MacOS的用户界面。所以他们都拥有图形化的文件管理器。在文件管...

x-window、gnome、kde的区别和详细介绍

在介绍KDE和Gnome之前,我们 有必要先来介绍UNIX/Linux图形环境的概念。对一个习惯Windows的用户来说,要正确理解UNIX/Linux的图形环境可能颇为困难,因为 它与纯图形化Win...
  • DLODJ
  • DLODJ
  • 2011年08月16日 20:21
  • 7843

EM算法(期望最大化)——从EM算法角度理解K-Means与GMM的区别

K-Means算法简介K-Means算法是一种常用的聚类算法,它认为由一组数据点构成的一个聚类中,聚类内部点之间的距离应该小于数据点与聚类外部的点之间的距离。假设我们有一组数据集{x1,...,xN}...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:GMM 与 KDE 区别与联系
举报原因:
原因补充:

(最多只允许输入30个字)