GMM模型

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/dream_catcher_10/article/details/50705414

(一)高斯判别分析模型(Gaussian discriminant analysis,GDA

1.GDA模型是服从高斯分布的生成模型:

(1)假设每个类别的样本数据服从多元高斯分布:


(2)现在假设样本值为多维连续变量,讨论二分类问题,那么分别对两个类别的样本进行高斯建模(使用同一个协方差矩阵):


那么概率分布如下:

2.似然函数如下:


3.参数的极大似然如下估计:


(二)高斯混合模型(Gaussian mixture model,GMM)

1.GMM是指具有以下概率密度的生成模型:


其中:



2.GMM模型中由于含有隐藏变量,也就是记录观测数据由哪个模型生成的变量,因此采用EM算法来估计参数;

3.EM算法估计GMM模型参数流程:

(1)隐含变量如下:


因此完全数据对如下:


(2)似然函数为:


其中:


所以对数似然函数如下:


(3)计算Q函数:


其中:


(4)极大化Q函数,求得:






没有更多推荐了,返回首页