![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
高斯混合
漱冰濯雪
这个作者很懒,什么都没留下…
展开
-
高斯混合模型学习笔记
0 预备知识l 设离散型随机变量X的分布律为 则称 为X的 数学期望 或 均值l 设连续型随机变量X的概率密度函数(PDF)为 其 数学期望 定义为 l 称为随机变量X的 方差 , 称为X的 标准差l 正态分布 ~ 概率密度函数l 设(X, Y)为二维随机变量,若存在,则称其为随机变量X和Y的 协方差转载 2016-01-14 16:38:12 · 980 阅读 · 0 评论 -
斯坦福大学机器学习——因子分析(Factor analysis)
一、问题的提出在EM算法求解高斯混合模型一文中,我们的样本集 ,而样本的数量m远大于样本的维度n,因此,可以轻易的构造出高斯混合模型。现在,我们再看下不同的情况:假如,或,我们将很难构建一个普通高斯模型,更别提高斯混合模型。这m个的数据仅仅是 的子空间,如果我们用这m个数据建立高斯模型,并对利用极大似然,对期望和方差进行参数估计。可得:我们将发现转载 2016-01-14 17:09:47 · 1611 阅读 · 0 评论 -
聚类算法之高斯混合模型
高斯混合模型--GMM(Gaussian Mixture Model) 统计学习的模型有两种,一种是概率模型,一种是非概率模型。 所谓概率模型,是指训练模型的形式是P(Y|X)。输入是X,输出是Y,训练后模型得到的输出不是一个具体的值,而是一系列的概率值(对应于分类问题来说,就是输入X对应于各个不同Y(类)的概率),然后我们选取概率最大的那个类作为判决对象(软分类-转载 2016-01-14 16:54:53 · 10608 阅读 · 0 评论 -
EM及高斯混合模型
本文就高斯混合模型(GMM,Gaussian Mixture Model)参数如何确立这个问题,详细讲解期望最大化(EM,Expectation Maximization)算法的实施过程。单高斯分布模型GSM多维变量X服从高斯分布时,它的概率密度函数PDF为:x是维度为d的列向量,u是模型期望,Σ是模型方差。在实际应用中u通常用样本均值来代替,Σ通常用样本方差来代替转载 2016-01-14 17:41:53 · 551 阅读 · 0 评论 -
混合高斯模型算法
高斯模型有单高斯模型(SGM)和混合高斯模型(GMM)两种。(1)单高斯模型:为简单起见,阈值t的选取一般靠经验值来设定。通常意义下,我们一般取t=0.7-0.75之间。二维情况如下所示:(2)混合高斯模型: 对于(b)图所示的情况,很明显,单高斯模型是无法解决的。为了解决这个问题,人们提出了高斯混合模型(转载 2016-01-14 17:53:52 · 866 阅读 · 1 评论 -
高斯判别分析与高斯混合分布之庖丁解牛(第一集)
http://blog.csdn.net/zhangping1987/article/details/22648215数学是科学的皇后 ——“数学王子”高斯正态分布的历史:谈及正态分布的历史,不得不提两位数学家,第一位,Abraham de Moivre(法国裔英国籍数学家 1667.05转载 2016-04-05 20:40:44 · 871 阅读 · 0 评论 -
斯坦福大学机器学习——EM算法求解高斯混合模型
EM算法(Expection-Maximizationalgorithm,EM)是一种迭代算法,通过E步和M步两大迭代步骤,每次迭代都使极大似然函数增加。但是,由于初始值的不同,可能会使似然函数陷入局部最优。辜丽川老师和其夫人发表的论文:基于分裂EM算法的GMM参数估计(提取码:77c0)改进了这一缺陷。下面来谈谈EM算法以及其在求解高斯混合模型中的作用。一、 高斯混合模型(Gauss转载 2016-01-14 17:07:40 · 1668 阅读 · 0 评论 -
“上帝的算法”在高斯混合分布中的应用
吴军老师在《数学之美》中称期望最大值化算法为“上帝的算法”,下面就讨论EM算法在高斯混合分布中的应用。接高斯判别分析与高斯混合分布之庖丁解牛(第一集)最后剩下的问题继续讨论,以下先不谈什么隐含因子,只是单纯的数学演算,过程非常有意思!以下的讨论会用到几点知识,我们先作为补充知识,说一下:补充知识点一:凹函数的定义:设是定义在上的函数,若对任意的和任意的,转载 2016-04-07 10:22:50 · 524 阅读 · 0 评论