混合高斯模型_高斯混合模型（GMM）

下图所示，显然用右边的图描述当前分布更加合理，即应用了两个高斯分布。图中每一个样本点同时属于任何一个高斯模型。

高斯混合模型

从几何角度来理解，GMM是由多个高斯分布叠加而成，可以看做是多个高斯分布的加权平均。

其中，

是第j个高斯模型的概率密度函数；αj为第k个高斯模型的权重系数，且j个权重系数之和为1（原因：GMM是一个概率密度函数，概率密度函数在其作用域内的积分之和必然为1。GMM整体的概率密度函数是由若干个高斯分量的概率密度函数线性叠加而成的，而每一个高斯分量的概率密度函数的积分也是1，所以，要想GMM整体的概率密度积分为1，就必须对每一个高斯分量赋予一个其值不大于1的权重，并且权重之和为1）。

求解高斯混合模型（EM）

通过观察上式，要求解高斯混合模型需要得到协方差矩阵Cj、权重系数αj、期望uj，通常使用EM（ExpectationMaximum）算法对GMM进行参数估计。

EM算法：

1.初始化----可以直接将Cj设为单位矩阵，αj=1/M，uj随机。

2.E step-----令αj的后验概率为

3. M step-----更新参数

4.收敛条件------不断迭代2,3步骤更新三个参数，直到

即前后两次迭代得到的结果变化小于一定程度则终止迭代。