EM算法训练GMM的Matlab实现过程(总结)

原创 2012年03月22日 17:33:56

         最近看到论文中很多地方提到EM算法,之前对EM算法只是大概知道是一个参数优化算法,而不知道具体的过程,通过阅读相关的资料,大概了解了其推导过程以及实现过程。

   GMM模型就是由若干个高斯分量相互组成的,通过混合的高斯模型来逼近样本的真实分布。

        GMM模型估计包括三个参数:混合权重,每个高斯函数的均值以及方差,他们的递推公式如下:

                 权重的递推公式如下:

          

            均值和方差的递推公式如下:

          

 

 

 

其中M为混合高斯数,n为训练的样本数

假设现在有训练样本data集合,每一列为一个样本,行数代表样本的特征维数,采用Matlab实现EM算法的训练过程如下:

 

%演示EM训练算法的实现过程
clc;
clear all;
load data;
[dim,Num]=size(data);
max_iter=10;%最大迭代次数
min_improve=1e-4;% 提升的精度
Ngauss=3;%混合高斯函数个数
Pw=zeros(1,Ngauss);%保存权重
mu= zeros(dim,Ngauss);%保存每个高斯分类的均值,每一列为一个高斯分量
sigma= zeros(dim,dim,Ngauss);%保存高斯分类的协方差矩阵
fprintf('采用K均值算法对各个高斯分量进行初始化\n');
[cost,cm,cv,cc,cs,map] = vq_flat(data, Ngauss);%聚类过程  map:样本所对应的聚类中心
mu=cm;%均值初始化
for j=1:Ngauss
   gauss_labels=find(map==j);%找出每个类对应的标签
   Pw(j)= length(gauss_labels)/length(map);%类别为1的样本个数占总样本的个数 
   sigma(:,:,j)  = diag(std(data(:,gauss_labels),0,2)); %求行向量的方差,只取对角线,其他特征独立,并将其赋值给对角线
end

last_loglik = -Inf;%上次的概率
% 采用EM算法估计GMM的各个参数
if Ngauss==1,%一个高斯函数不需要用EM进行估计
    sigma(:,:,1)  = sqrtm(cov(data',1));
    mu(:,1)       = mean(data,2);
else
     sigma_i  = squeeze(sigma(:,:,:));
     
     iter= 0;
     for iter = 1:max_iter
          %E 步骤
          %求每一样样本对应于GMM函数的输出以及每个高斯分量的输出,
          sigma_old=sigma_i;
          %E步骤。。。。。
          for i=1:Ngauss
          P(:,i)= Pw(i) * p_single(data, squeeze(mu(:,i)), squeeze(sigma_i(:,:,i)));%每一个样本对应每一个高斯分量的输出
          end
          s=sum(P,2);%
        for j=1:Num
            P(j,:)=P(j,:)/s(j);
        end
       %%%Max步骤
        Pw(1:Ngauss) = 1/Num*sum(P);%权重的估计
        %均值的估计
        for i=1:Ngauss
            sum1=0;
            for j=1:Num
             sum1=sum1+P(j,i).*data(:,j);
            end
          mu(:,i)=sum1./sum(P(:,i));
        end
       
        %方差估计按照公式类似
         %sigma_i
         if((sum(sum(sum(abs(sigma_i- sigma_old))))<min_improve))
             break;
        end
        
        
     end
    
     
end


子函数:

function p = p_single(x, mu, sigma)

%返回高斯函数的值

 [dim,N]=size(x);
 p=zeros(1,N);
 for i=1:N
     p(i)= 1/(2*pi*abs(det(sigma)))^(length(mu)/2)*exp(-0.5*(x(:,i)-mu)'*inv(sigma)*(x(:,i)-mu));
 end


 

 

注明:鉴于大家都要求vq_flat代码,这里就不一一发送到邮箱了,提供下载地http://download.csdn.net/detail/xiaoding133/5501211

GMM的EM算法实现

在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering,Ncut一文中我们给出了GMM算法的基本模型与似然函数,在EM算法原理中对EM算法的实现与收敛性证...
  • abcjennifer
  • abcjennifer
  • 2012年11月19日 11:03
  • 104083

Kmeans和GMM参数学习的EM算法原理和Matlab实现

本文整理自JerryLead的博文“《K-means聚类算法》 ”,“《(EM算法)The EM Algorithm 》”,“《混合高斯模型(Mixtures of Gaussians)和EM算法 》...
  • wjbwjbwjbwjb
  • wjbwjbwjbwjb
  • 2015年09月01日 20:55
  • 3988

GMM的matlab实现集合

  • 2011年11月08日 15:21
  • 643KB
  • 下载

GMM-matlab

  • 2009年03月31日 10:19
  • 12KB
  • 下载

GMM高斯混合模型进行背景建模(Matlab)

参考:http://blog.csdn.net/jinshengtao/article/details/26278725                        http://www.ilov...
  • LiuPeiP_VIPL
  • LiuPeiP_VIPL
  • 2017年06月17日 19:19
  • 2697

朴素贝叶斯算法matlab实现以及EM算法

这周,继续学习了朴素贝叶斯算法的一部分知识,看了matlab的贝叶斯分类算法。采用草地潮湿原因模型的一个例子来求证贝叶斯概率以及条件概率、联合概率的分析,详见日志http://blog.sina.co...
  • ningyaliuhebei
  • ningyaliuhebei
  • 2015年06月04日 15:20
  • 3140

EM算法完整matlab代码

  • 2016年05月14日 21:12
  • 818KB
  • 下载

EM算法(MATLAB实现)

  • 2010年03月15日 15:40
  • 7.29MB
  • 下载

EM聚类算法matlab实现

最近看到了朴素贝叶斯定理,看着看着就看到了em聚类的算法中(K-means聚类的原型)。 动手自己编个程序: %EM algorithm clc; clear; sigma = 1.5; miu...
  • DreamD1987
  • DreamD1987
  • 2012年10月05日 09:21
  • 2819

EM算法简单介绍

EM背景介绍 1.概率模型有事既含有观测变量,又含有隐变量。比如HMM中的隐状态。 如果概率模型的变量是观测变量,那么给定训练数据,可以直接用最大似然估计或者最大后验估计或者贝叶斯估计来求得参数模...
  • qfzxhy
  • qfzxhy
  • 2016年07月02日 22:56
  • 648
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:EM算法训练GMM的Matlab实现过程(总结)
举报原因:
原因补充:

(最多只允许输入30个字)