GMM与EM个人的理解

GMM与EM个人的理解

本文GMM和EM是个人的粗浅理解，并不一定是正确的，欢迎大家批评指正。

1.GMM

• GMM在语音识别的有大的作用。全名叫高斯混合分布，通俗的理解是多个高斯分布模型构成的。
• GMM为后面的HMM提供了一个概率分布，将不完全数据的边缘分布转换为完全数据的联合分布。单独的高斯模型有两个重要参数，一个是均值，另一个就是协方差矩阵。pi为各个高斯模型在混合模型的权重。我们设置观测变量为x，隐藏变量为z，在语言识别中，观测变量就是通过MFCC提取的每一帧的音频信号的特征，隐藏变量就是一个状态，这个状态可以看作token，token可为词、音素等等。同时要求出GMM的似然函数。
• GMM还有一个重点为其后验概率。我们可以把这个后验概率看作第k个高斯模型在混合高斯模型的贡献值，这个在EM算法中会经常用到。
• 对于GMM还有一点是与K-means的联系。K-means可以看作GMM的特例，是一种硬对齐方式，每个数据都对应确定的点上，GMM为软对齐，每个数据对应每个类的概率

2.EM

• EM算法我们可以举一个例子来简单的说明。随机抽取100名男生女生的身高，其身高服从高斯分布，如何通过最大似然估计男生女生身高分布的均值和方差呢？
  若每个数据的性别和身高给定，进行求均值可以把u求出。方差也可以求出。若不知道性别，只有身高数据如何求解。我们可以引入z变量。P（zi = 1）表示第i个为男生身高的概率。男生身高的均值就是每个数据男生身高的概率乘以数据求和再除以男生身高的概率求和。
  但这时又有一个困难，如何求P（zi=1）的概率呢？我们首先随机给参数初始化，之后将男生的高斯分布除以男生加上女生的高斯分布，更新P（zi=1)，通过P（zi=1）再去更新均值和方差，循环迭代。
• 上述例子就是EM的算法较为直观的演示。接下来是EM的算法的通用步骤。EM算法是根据给定的{X,Z}的联合概率分布p(X,Z|theta)，优化theta，最大化似然函数P(X|theta）
• 1.初始化参数
  2.E步 计算潜变量的后验概率P（Z|X,theta_old）
  3. M步 使用后验估计参数
  4. 重算似然函数，更新theta
  我们给出一个通过EM算法更新GMM参数的过程。