EM算法 高斯模型 的参数估计 C++实现

最新推荐文章于 2023-05-16 15:20:22 发布
最新推荐文章于 2023-05-16 15:20:22 发布
阅读量5.7k 收藏 22
点赞数 8
分类专栏： 数据挖掘 人工智能 VC++ 文章标签： GMM EM 高斯混合模型 聚类 参数估 迭代
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hzq20081121107/article/details/19505619
版权

因为去百度实习miss模式识别课程的一些课时，自己看了些资料补上，顺便实现以下，让自己有个更深的印象。


高斯分布：


GMM 混合高斯模型  简易通俗理解：

假如大学生的的男生和女生的身高分别符合高斯分布G1和G2，G1和G2的参数（均值u，方差sigma）都不知道。

现在测得了某高中所有学生的身高，可惜的是测量人只记录了身高值，没有记录男女性别，也无从知道男女生的人数比例pi1，pi2。

以上提到的参数G1，G2，pi1，pi2就构成了一个混合高斯模型。

1. 我们想得到G1和G2的参数，即男女生的平均身高和变化幅度，还有男女生人数的占比，怎么算？

通过最大似然估计进行参数估计，最大似然直接求导困难，改用迭代求解，迭代求解过程称为 EM算法，该方法的缺点是只能求局部最优。

【最大似然估计就是让概率分布参数最符合观察到的样本】

2.GMM作用是什么?

给出某个高中生的身高，估计其为男生和女生的概率各是多少，做性别估计或分类。

参考：

http://blog.csdn.net/zouxy09/article/details/8537620

http://amberlife.net/2012/07/机器学习－gmm心得体会/


EM Expectation Maximization过程：

EM算法包括两个过程：

E 已知参数 lamda，求概率（期望）P；

M 根据算出的P，求新的lamda以使出现P的概率最大。



代码实现：

代码下载：

http://download.csdn.net/detail/hzq20081121107/6966067

程序的使用：

1

在对话框中随机点一些点，这些点为观察样本，其的横坐标为观察样本的值。

2

在编辑框中输入想聚类的数量k，然后点击“模型初始化”按钮，程序将产生k个高斯分布，k个高斯分布的均值u设为前三个样本的观察值，方差sigma设为1.

3

点击当前高斯曲线，绘制k条当前参数下的高斯曲线。

4

点击“EM一次”按钮，进行一次EM迭代，会绘制一次当前参数下的k条高斯曲线。

多次点击，显示迭代效果。


推理参考：

http://amberlife.net/2012/07/机器学习－gmm心得体会/

http://blog.csdn.net/abcjennifer/article/details/8198352

http://wenku.baidu.com/link?url=hkSwNnMmils9NI7LWcjHHgahXkyskK1xg9iZzFqLBPZwgtRKECCrbVLHnDrB0WVPbIJa0ma2UBQv7T8Twp_HSuBfZ4cGtLHz9lfUVmQ4jzm

http://blog.csdn.net/zouxy09/article/details/8537620


加深学习参看： GMM高斯混合模型学习（2）

实现过程：

设计一个ClassGMM类：

ClassGMM.h

#pragma once
struct struct_sampleNode
{
    float x;
};
struct struct_GM
{
	float Nk;
	float piK;
	float u;
	float sigma;
};
class ClassGMM
{
public:
	struct_GM* pGM;
	struct_sampleNode* pSampleNode;
	int numSample;
	int numClass;
	ClassGMM(void);
	~ClassGMM(void);
	void clear(void);
	int EM(int nTimes);
	float getGaussRatio(float u , float sigma , float x);
};
ClassGMM.cpp 

#include "StdAfx.h"
#include <cmath>
#include "ClassGMM.h"

#define PI acos(-1.0)


ClassGMM::ClassGMM(void)
{
	numSample=0;
	numClass=0;
	pGM=NULL;
	pSampleNode=NULL;
}


ClassGMM::~ClassGMM(void)
{
	if(pGM!=NULL)
	{
	    delete []pGM;
		pGM=NULL;
	}
	if(pSampleNode!=NULL)
	{
	    delete []pSampleNode;
		pSampleNode=NULL;
	}
}


void ClassGMM::clear(void)
{
	numSample=0;
	numClass=0;
	if(pGM!=NULL)
	{
		delete []pGM;
		pGM=NULL;
	}
	if(pSampleNode!=NULL)
	{
		delete []pSampleNode;
		pSampleNode=NULL;
	}
}

//EM迭代 nTimes
int ClassGMM::EM(int nTimes)
{
	int i,j,k;
	//开辟空间
	float **ppR;
	ppR=new float* [numSample];
	for(i=0;i<numSample;i++)
	{
	    ppR[i]=new float[numClass];
	}


	while(--nTimes>=0)
	{
		//计算r(i,k)，用ppR[i,k]表示
		for(i=0;i<numSample;i++)
		{
			float *piKN;
			piKN=new float[numClass];//
			float sum_piKN=0;
			for(k=0;k<numClass;k++)
			{
				piKN[k]=pGM[k].piK*getGaussRatio(pGM[k].u,pGM[k].sigma,pSampleNode[i].x);
				sum_piKN+=piKN[k];
			}
			for(k=0;k<numClass;k++)
			{
				ppR[i][k]=piKN[k]/sum_piKN;
			}
			delete []piKN;
		}
		//利用r(i,k)求高斯参数，Nk，piK，u，sigma，
		//Nk
		for(k=0;k<numClass;k++)
		{
			pGM[k].Nk=0;
			for(i=0;i<numSample;i++)
			{
				pGM[k].Nk += ppR[i][k];
			}
		}
		//piK
		float sumNK=0;
		for(k=0;k<numClass;k++)
		{
			sumNK+=pGM[k].Nk;
		}
		for(k=0;k<numClass;k++)
		{
			pGM[k].piK=pGM[k].Nk/sumNK;
		}
		//u
		for(k=0;k<numClass;k++)
		{
			pGM[k].u=0;
			for(i=0;i<numSample;i++)
			{
				pGM[k].u+=pSampleNode[i].x*ppR[i][k];
			}
			pGM[k].u/=pGM[k].Nk;
		}
		//sigma
		for(k=0;k<numClass;k++)
		{
			float sum_temp=0;
			for(i=0;i<numSample;i++)
			{
				sum_temp+=ppR[i][k]*(pSampleNode[i].x-pGM[k].u)*(pSampleNode[i].x-pGM[k].u);
			}
			sum_temp/=pGM[k].Nk;
			pGM[k].sigma=sqrt(sum_temp);
		}
	}
	//销毁空间
	for(i=0;i<numSample;i++)
	{
		delete []ppR[i];
	}
	delete []ppR;

	return 0;
}

//求高斯概率密度
float ClassGMM::getGaussRatio(float u , float sigma , float x)
{
	double fenMu=sqrt(2*PI)*sigma;
	double zhiShu=-(x-u)*(x-u)/(2*sigma*sigma);
	double fenZi=exp(zhiShu);
	return fenZi/fenMu;
}

对话框中的一些主要函数： 

//GMMO的初始化
void CGMM_testDlg::OnBnClickedButton3()
{
	CRect clientRc;
	GetClientRect(&clientRc);
	int i,j,k;
	//GMMO的初始化
	GMMO.clear();
	//样本赋值
	GMMO.numSample=numPos;
	GMMO.pSampleNode=new struct_sampleNode[numPos];
	for(i=0;i<GMMO.numSample;i++)
	{
	    GMMO.pSampleNode[i].x=(pos_g[i].x)/100.0;
	}
	//高斯分布初始化
	GMMO.numClass=2;
	UpdateData(TRUE);
	if(m_numClass!=0)
	{GMMO.numClass=m_numClass;}
	GMMO.pGM=new struct_GM[GMMO.numClass];
	for(k=0;k<GMMO.numClass;k++)
	{
		GMMO.pGM[k].u=GMMO.pSampleNode[k].x;
		GMMO.pGM[k].sigma=1;
		GMMO.pGM[k].piK=0.5;
		GMMO.pGM[k].Nk=GMMO.pGM[k].piK;
	}
}
//EM过程
void CGMM_testDlg::OnBnClickedButton2()
{
	//GMM模型迭代 10000次
	GMMO.EM(1);
	drawGMM();
}
//显示正态概率密度图
void CGMM_testDlg::OnBnClickedButton4()
{
	CDC *pDC=GetDC();
	CRect rec_window;
	CPen  myPen,*oldPen;
	myPen.CreatePen(1,2,RGB(255,0,0));
	oldPen=pDC->SelectObject(&myPen);
	GetClientRect(&rec_window);
	int x;
	int i,j,k;
	float u,sigma;
	for(k=0;k<GMMO.numClass;k++)
	{
		u=GMMO.pGM[k].u;
		sigma=GMMO.pGM[k].sigma;
		for(x=rec_window.left ;x<rec_window.right;x++)
		{
			int t=100;
			int temp1=rec_window.Height();
			float temp2=t*getGaussRou(x/100.0,u,sigma);
			float temp3=temp1-temp2;
			if(int(u*100)==x)
				x=x;
			pDC->MoveTo(x,rec_window.Height()- t*getGaussRou(x/100.0,u,sigma));
			pDC->LineTo(x+1,rec_window.Height()-t*getGaussRou((x+1)/100.0,u,sigma));
		}
	}
	pDC->SelectObject(oldPen);
	myPen.DeleteObject();
	ReleaseDC(pDC);
}
//绘制各高斯分布的曲线
int CGMM_testDlg::drawGMM(void)
{
	int i,j,k;
	for(k=0;k<GMMO.numClass;k++)
	{drawGauss(GMMO.pGM[k].u,GMMO.pGM[k].sigma);}
	return 0;
}
//绘制期望为u，方差为sigma的正态分布曲线
void CGMM_testDlg::drawGauss(float u, float sigma)
{
	CDC *pDC=GetDC();
	CRect rec_window;
	GetClientRect(&rec_window);
	int x;
	for(x=rec_window.left ;x<rec_window.right;x++)
	{
		int t=100;
		int temp1=rec_window.Height();
		float temp2=t*getGaussRou(x/100.0,u,sigma);
		float temp3=temp1-temp2;
		if(int(u*100)==x)
			x=x;
		pDC->MoveTo(x,rec_window.Height()- t*getGaussRou(x/100.0,u,sigma));
		pDC->LineTo(x+1,rec_window.Height()-t*getGaussRou((x+1)/100.0,u,sigma));
	}
}



//左键标点
void CGMM_testDlg::OnLButtonDown(UINT nFlags, CPoint point)
{
	// TODO: 在此添加消息处理程序代码和/或调用默认值
	int r=2;
	CDC *pDC=GetDC();
	CPoint posNear;
	int numTemp=1+rand()%13;
	for(int i=0;i<numTemp;i++)
	{
		int rr=100;
		posNear.x=point.x+rand()%rr-rr/2;
		posNear.y=point.y+rand()%rr-rr/2;
		pDC->Ellipse(posNear.x-r,posNear.y-r,posNear.x+r,posNear.y+r);
		pos_g[numPos++]=posNear;
	}
	CDialogEx::OnLButtonDown(nFlags, point);
}



井底之蛙-hzq
关注
专栏目录
EM算法C++实现
02-21
EM算法C++实现
Em算法(使用C++编写)
02-06
Em算法(使用C++编写)，使用Em算法对多维向量进行聚类。程序本身还存在一些问题，比如协方差矩阵的行列式为0的问题(给对角线元素加一个小的数并且取协方差阵为对角阵解决的)，希望大家能讨论下。
经典的EM算法用C++和OpenCV实现
12-02
实现了经典的EM算法，利用它可以学习OpenCV。在此基础上可以对混合高斯模型进行改进。对Online-EM的理解有一定的帮助。
统计学习方法c++实现之八 EM算法与高斯混合模型
bobxx的博客
03-05 1068
EM算法与高斯混合模型 前言 EM算法是一种用于含有隐变量的概率模型参数的极大似然估计的迭代算法。如果给定的概率模型的变量都是可观测变量，那么给定观测数据后，就可以根据极大似然估计来求出模型的参数，比如我们假设抛硬币的正面朝上的概率为p（相当于我们假设了概率模型），然后根据n次抛硬币的结果就可以估计出p的值，这种概率模型没有隐变量，而书中的三个硬币的问题（先抛A然后根据A的结果决定继续抛B还是C）...
EM算法-最大期望算法(使用C++编写)
02-08
使用C++编写的最大期望算法(EM)，包含一个算法的实现类cEm以及main函数。本人对EM算法不太熟悉，希望大家以批评的眼光来参看这个程序。
em算法 高斯混合模型
05-26
通过阅读和理解这段代码，你可以更深入地了解EM算法如何在实际问题中应用于解决高斯混合模型的参数估计和聚类任务。同时，代码的调试和运行也可以帮助你检验算法的正确性和效率，进一步提升对这些概念的理解。
高斯混合模型的C++实现
新安浅滩的博客
12-13 2532
高斯混合模型的C实现 原理 过程 代码实现高斯混合模型的C++实现原理GMM将数据的分布通过多个高斯模型进行拟合。GMM是一种聚类算法，每个component就是一个聚类中心。高斯混合模型可以得到每个数据属于每个模型的概率，是一种软聚类算法。这是来自《统计学习方法》中的定义：过程高斯混合模型使用EM算法估计模型参数。 1. 初始化模型的个数和每个高斯模型的参数，设定迭代结束条件（迭代次数，误差阈值
机器学习C++源码解析-GMM高斯混合模型算法-源码+数据
08-10
在机器学习领域，高斯混合模型（Gaussian Mixture Model, GMM）是一种常见的概率建模方法，尤其在模式识别、聚类分析和密度估计中应用广泛。C++作为一种强大的编程语言，常用于实现这类复杂的算法。本资源包提供了一...
C++元编程——EM算法求解高斯混合模型
最新发布
Dr_Jack的博客
05-16 404
EM算法跟K-means差不多，步骤就是：1）首先随机固定个数类的均值和方差矩阵；2）将数据集按照目前的分类计算概率，分派到每个类上；3）对各类中的数据计算其均值和方差；4）误差达标则退出，未达标则返回第2步继续执行。下面是实现代码，模拟的是多高斯分布使用EM算法进行优化。20次迭代就收敛了，结果也正确，识别出3类的均值和方差差别不大。
EM算法源码C++硬币问题
12-08
EM算法源码C++硬币问题，亲手敲的，一行一行敲的，确可运行，VC6.0编程环境
EM算法程序
05-26
里面包含EM算法讲解，EM算法相关论文和源代码。相信一定会让研究此算法的你眼前一亮。
EM算法源代码C++实例
12-08
一行行代码亲手敲出来的，绝无仅有的，保证可以成功运行.让初学者对EM算法有大致上的体会
Em算法实现聚类(VC++实现)
02-15
Em算法实现聚类(VC++实现)，包含main函数和Em类的控制台程序，带有详细注释。解决高斯混合模型聚类问题。
【EM】C++代码实现
weixin_33842328的博客
09-19 335
看了原理和比人的代码后，终于自己写了一个EM的实现。 我从网上找了一些身高性别的数据，用EM算法通过身高信息来识别性别。 实现的效果还行，正确率有84% （初始数据 男生170 女生160 方差都是10）                                  79%  （初始数据 男生165 女生150 方差都是10） 正确率与初始值有关。 /* 试图用EM算法来根据输...
C++：实现EM算法(附完整源码)
希望我的博客，能帮上你解决学习中工作中所遇到的问题
12-26 332
C++：实现EM算法(附完整源码)
c语言em算法实现,统计学习方法ｃ++实现之八 EM算法与高斯混合模型
weixin_34366539的博客
05-24 701
EM算法与高斯混合模型前言EM算法是一种用于含有隐变量的概率模型参数的极大似然估计的迭代算法。如果给定的概率模型的变量都是可观测变量，那么给定观测数据后，就可以根据极大似然估计来求出模型的参数，比如我们假设抛硬币的正面朝上的概率为p(相当于我们假设了概率模型)，然后根据n次抛硬币的结果就可以估计出p的值，这种概率模型没有隐变量，而书中的三个硬币的问题(先抛A然后根据A的结果决定继续抛B还是C)，这...
高斯混合模型GMM的C++实现
weixin_34240657的博客
05-10 352
单高斯分布模型SGM 高斯密度函数估计是一种参数化模型。有单高斯模型（Single Gaussian Model, SGM）和高斯混合模型（Gaussian mixture model，GMM）两类。类似于聚类，根据高斯概率密度函数（PDF，见公式1）参数的不同，每一个高斯模型可以看作一种类别，输入一个样本x，即可通过PDF计算其值，然后通过一个阈值来判断该样本是否属于高斯模型。很明显，SGM适...
opencv3/C++ 机器学习-EM算法/Expectation Maximization
akadiao的博客
03-05 2653
EM算法/Expectation Maximization EM算法包含两步：E，求期望（Expectation），利用概率模型参数的现有估计值，计算隐藏变量的期望；M，求极大（Maximization），利用E 步上求得的隐藏变量的期望，对参数模型进行最大似然估计。所得参数估计值用于下个E步的计算，重复至收敛。 期望最大化/EM算法以具有一定数量混合物的高斯混合分布的形式估计多变量概率密度函...
EM算法在高斯混合模型与隐马尔可夫模型参数估计中的应用详解
"EM算法已经在高斯混合模型参数估计中的应用" EM（Expectation-Maximization）算法是一种在统计学和机器学习中广泛使用的迭代方法，主要用于处理含有未观测变量的模型参数估计问题。该算法通过交替进行期望...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值