HMM的个人理解

HMM的个人理解

HMM的定义组成和基本假设分类

• HMM的全称为隐马尔科夫模型，是由一个隐藏的马尔科夫链生产不可观测的状态序列，再由各个状态生成一个观测产生观测序列的过程。序列的每一个位置看作一个时刻。（官方解释）在我看来隐马尔可夫在语言识别解决的问题是通过特征提取出的音频信息找到状态的过程，当然这个状态可以看作音素等。像音频信息是一个可以观测的已知的信息，而状态是未知的，HMM就是通过已知的信息找到未知信息的模型。
• HMM三个重要的参数，状态转移矩阵(A)，观测概率矩阵(B)，初始状态向量(Π)。又称HMM三要素。
• HMM是在两个假设下才成立的，分别是
  1 齐次马尔可夫假设：HMM在时刻t的状态只和t-1状态有关
  2 观测独立性假设：观测只和当前时刻的状态有关。
  -分类为离散和连续
  
  当我们的概率函数为GMM时，我们就称模型为HMM-GMM模型。

隐马尔可夫三大基本问题（重点）

概率计算问题

• 我们已知模型参数lamda=（A,B,Π）和观测序列O=（o1,o2,…,oT）
  计算概率P(O|lamda)
• 1 直接计算法
  • 列举所有可能状态序列I
  • 求与对应的观测序列的联合概率P（O,I|lamada）
  • 对可能的状态序列求和，的到概率P(O|lamada)
    
    我们可以看到上述的公式复杂度为TN的T次方，由于状态序列列举所有可能所以每个时刻都有T个可能为N的t次方，之后每个状态序列还要乘以T个观测序列概率所以为TN的T次方。这个复杂度太大了，不能进行实际的运算，所以要进行算法的改进。
• 2 前向算法
  我们设置at（i）为前向概率，之后计算下一个时刻。下一个时刻为本时刻各个状态的前向概率乘以转移到下个状态的概率并求和，之后乘以观测概率。

总结一下，前向算法大大的减少了时间复杂度，变成了TN的平方。其根本原因是，可以利用前一时刻的信息，类似于动态规划的概念。

• 3 后向算法
  和前向算法很像，后向算法定义了一个后向概率，用β来表示。其定义为t时刻状态为qi时，观测序列为ot+1,ot+2,…,oT的概率。
  
  与前向算法相似，首先把T的终止时刻设置为1，之后通过t+1的状态进行递归的找出前面的状态。

预测问题（解码）

• 1 Viterb算法
  Viterb与前向算法很像，都是利用前面计算的结果进行处理的。设置一个和前向算法α很像的σ，但σ与α不同的是，Viterb会选择最大的概率而不是像前向算法一样将前一时刻所有状态进行相加。同时设置φ，φ是之后进行回溯的重要函数，会存储概率最大的状态节点。具体算法并与前向算法对比如下
  
  类似与不同前面已经进行了解释，维特比算法是进行解码的经典算法。

学习问题

• 1 Viterb学习算法
  注意区分Viterb在学习与解码的区别。Viterb学习算法中间用到了Viterb解码（也可以人工标注），获得了一个对齐的序列，通过这个对齐的序列进行学习。首先更新初始状态向量，之后更新状态转移矩阵，之后按照上一篇博客所讲的GMM和EM更新GMM的参数。具体算法如下
  
• 2 Baum-Welch算法
  相比上面的Viterb算法仅仅求出了最优路径不同，Viterb是一个硬对齐方式，每一个状态都是对死的，而这个算法是一个软对齐的方式，通过概率来进行计算。其实这个就是EM算法，只是在HMM中叫做Baum-Welch算法。
  首先设置一个状态占用概率，在时刻t处于状态qi的概率为yt（i）
  • E步 估计状态占用概率（期望）
  • M步 根据状态占用概率，重新估计参数
    
    相比较来说在kaldi中维特比算法可能用的更多，需要重点掌握，但EM算法也要掌握。