混合高斯模型

单高斯模型

当样本数据Ｘ是一维数据时，高斯分布（正态分布）服从下方概率密度函数，可以用于描述一种数据分布情况。

当样本是多维时，概率密度函数如下：

应用原因

对于一个分布由Ｋ个簇组成，使用单独的高斯分布很难描述数据的分布情况（如下图所示），这时可通过混合模型来描述。将多个高斯模型按照一定的权重混合为一个模型。

模型变量

高斯混合模型中所涉及的变量包括：混合模型的数量Ｋ，每个模型对应的分布（μi，δi），及其对应的权值αi。
混合模型的概率分布为：

其中ｔｈｅｔａ＝（μ，δ，α）

模型训练

对于单高斯模型可通过最大似然训练，对于混合模型需要通过ＥＭ（期望最大化）迭代训练。
每次迭代包括：Ｅ和Ｍ两步。
Ｅ:根据初始化模型参数计算所有点属于各个模型的概率

Ｍ：根据所有点计算的概率，利用期望和方差的概念更新模型参数



迭代训练多次知道模型参数不再发生变化。

缺点

需要预先设置模型数量Ｋ