高斯混合模型的理解

高斯混合模型

转载于https://blog.csdn.net/jinping_shi/article/details/59613054/
加上自己的理解
一、什么是高斯混合模型

使用单高斯模型来建模会有一些限制，比如下面这个分布
得到显然相差很多的模型。于是引入混合高斯模型，(Gaussian Mixed Model)指的是多个高斯分布函数的线性组合，理论上GMM可以拟合出任意类型的分布，通常用于解决同一集合下的数据包含多个不同的分布的情况。
例如下面这个图，蓝色的线表示一个一个的单高斯模型，红色的线是他们的和，是一个高斯混合模型。

下面，我们来详细地介绍一下高斯混合模型，高斯混合模型的数学形式如下：

GMM整体的概率密度函数是由若干个高斯分量的概率密度函数线性叠加而成的，而每一个高斯分量的概率密度函数的积分必然也是1，所以，要想GMM整体的概率密度积分为1，就必须对每一个高斯分量赋予一个其值不大于1的权重，并且权重之和为1。
GMM常用于聚类。如果要从 GMM 的分布中随机地取一个点的话，实际上可以分为两步：首先随机地在这 K 个组合之中选一个，每个组合被选中的概率实际上就是它的系数
二、怎么求参数

一般用迭代的方法来求解GMM的参数，具体来说，最大期望算法（Expectation Maximization algorithm，EM）。EM算法分两步，第一步先求出要估计参数的粗略值，第二步使用第一步的值最大化似然函数，检查参数是否收敛或对数似然函数是否收敛，若不收敛，则返回第2步。

zk∈{0,1} ∑zk=1

每一類中的数据都是服从正态分布的。这个叙述可以用条件概率来表示：