对HMM-GMM模型的理解

一、HMM的理解

HMM——Hidden Markov Model，隐马尔科夫链模型，认为某时序信息$X(t)$可以由一个隐状态链$S(n)$描述。此状态链包括$n$个状态，以及各个状态间的转移概率$p$，类似下图。

ref: [R. Sharma, J. Cai, S. Chakravarthy, I. Poddar and Y. Sethi, “Exploiting speech/gesture co-occurrence for improving continuous gesture recognition in weather narration,” Proceedings Fourth IEEE International Conference on Automatic Face and Gesture Recognition (Cat. No. PR00580), Grenoble, France, 2000, pp. 422-427, doi: 10.1109/AFGR.2000.840669].
同时，认为每个状态会以一定的发射概率$p_e$产生某一种观察值，即对应时序信息$X(t)$。

通常对于独立的状态识别问题，我们只需要知道每个状态的发射概率即可，通过比对观察值属于那个状态的概率更高，我们就掌握了该次观察应该从属于哪个状态。但这种方法不能引入时序的影响，使用这种方法时需要简单地认为序列在每个时刻的信息是互不相关的，这显然会降低对时序信息建模的精确度。HMM通过引入状态转移概率来描述时序的影响，在根据发射概率模型简单确定每时刻信息对应的状态后，借助Viterbi算法基于建立好的HMM模型再对状态进行进一步重新确定，于是时序信息就通过HMM的隐状态链表达出来了。

常见的HMM模型包括全HMM、左右HMM等，主要区别在于每个状态受到几个其他状态的影响（也就是几个转移链连接到了该状态，阶数）。

这里显然存在一个问题——若按照离散的概率模型建模发射概率，会隐含地假设观察值同样按照离散模型分布。这对于简单问题，如某天的天气等，是可行的，因为观察值确实离散且个数少，但对于语音识别等多数问题而言，模型的观察值通常以某一连续变化的特征量所表征，如MFCC等。此时，简单离散模型建模显然不可能满足要求，需要一种能够表征连续分布的新模型，将不同但类似的多种观察值归为一类（通常将这一类直接归为一种状态的输出，最终直接以测试数据在各类下的输出概率作比较，从而退化成简单离散概率模型）。

Exemple： StateNum=3; length(data)=30; size(log(p(xn|zn)))=[30 3]

即当状态数为3、输入数据时间长度为30时，进行HMM训练的过程会先计算每个时刻数据从属于这3个状态的概率。

二、HMM-GMM模型

GMM——Gaussian Mixture Model，混合高斯模型，可以简单地理解为多个高斯模型之和。高斯模型具备建模不同维度连续数据的能力，而混合高斯模型在其阶数足够的前提下，又可以很好地模拟各种复杂的分布，于是可以认为GMM在面对高维度、复杂分布的数据时仍然具备较好的拟合能力。将该模型作为HMM的发射概率，就可以得到HMM-GMM模型。

通常基于HMM-GMM模型的建模任务不会将每个时刻都划为一个状态，而是将多个连续时刻的数据归为一个状态的GMM模型。例如对于某20帧的MFCC输入语音输入一般可能只会建模三个状态来表征。

当然发射概率模型不是只有GMM这一种方法，利用GMM初步建模后的状态标签数据可以作为DNN的训练数据，后续可以用训练好的DNN代替GMM，即引入简单的神经网络结构以利用其更加复杂地表达数据的能力。

HMM-based模型仍然是存在缺点的，从HMM的结构出发，可以非常直观地看到，由于通常情况下HMM的状态数会小于输入数据长度，那么在每个状态所对应的多帧输入数据间的时序信息显然被忽略了。

值得注意的是HMM-based模型与现如今已经存在可以直接表征时序信息的神经网络结构，如RNN等，对于时序信息的建模思路较为类似，具体关系可以参考知乎：HMM和RNN是什么关系？功效上两者有冲突重叠？