c++ 一维高斯拟合_高斯混合模型(Gaussian Mixture Model)与EM算法原理(一)

高斯混合模型(Gaussian Mixture Model)是机器学习中一种常用的聚类算法，本文介绍了其原理，并推导了其参数估计的过程。主要参考Christopher M. Bishop的《Pattern Recognition and Machine Learning》。

以粗体小写字母表示向量，粗体大写字母表示矩阵；标量不加粗，大写表示常数。

1. 高斯分布

高斯分布(Gaussian distribution)，也称为正态分布(normal distribution)，是一种常用的连续变量分布的模型。若单个随机变量

服从均值为

，方差为

的高斯分布，记为

，则其概率密度函数为：

对于一个

维的向量

，若其各元素服从均值为向量

，协方差矩阵为

的多元高斯分布，记为

，则概率密度为：

其中

为

维均值向量，

为

的协方差矩阵，

表示

的行列式。

(1)式中，指数部分的二次型

称为

到

的马哈拉诺比斯距离(马氏距离，Mahalanobis distance)；当

为单位矩阵时退化为欧几里得距离(Euclidean distance)。多元高斯分布密度函数的等高线即

为常数时

的方程，是椭球方程(Ellipsoid - Wikipedia)。

2. 高斯混合模型(Gaussian Mixture Model)

多个高斯分布的线性叠加能拟合非常复杂的密度函数；通过足够多的高斯分布叠加，并调节它们的均值，协方差矩阵，以及线性组合的系数，可以精确地逼近任意连续密度([1], Section 2.3.9, p111)。

我们考虑

个高斯分布的线性叠加，这个高斯混合分布(Gaussian mixture distiburion)的概率密度函数为：

其中，