隐马尔科夫模型(HMM)理解与总结

本文系个人学习总结，为模型基础原理的概念性总结，不涉及数学原理即详细推导，若有详细了解需要，请参照文章末尾参考资料。

1. HMM模型概念

HMM所处理的问题有两个特征：1）序列型的数据，例如时间序列，状态序列。 2）序列数据分为两类，一类是可以观测到的数据，一类是隐藏在对应观测数据后的隐藏数据， 例如观测数据是我发出的语音，隐藏数据是我这段语音表达的语言。

1.1 HMM定义

定义所有隐藏状态集合Q和所有观测状态集合V：

对于一个长度为T的问题,我们有状态序列I和观察序列O：

t=1时刻隐藏状态的概率分布:

HMM的两个重要假设:

1. 齐次马尔科夫链假设

   t+1时刻隐藏状态$i_{t+1}=q_j$只依赖于t时刻隐藏状态$i_t=q_j$，由此我们有时刻t到t+1的状态转移概率$a_{ij}$：

   

   和状态转移概率矩阵A：

   

2. 观测独立性假设

   t时刻的观察状态$o_t=v_k$只由t时刻的隐藏状态$i_t=q_j$决定，我们有：

   

   和状态生成概率矩阵B：

   

1.2 HMM实例

假设我们有三个盒子，每个盒子有红白两种球：

规则是：一开始, 选择三个盒子的概率分别为0.2, 0.4, 0.4；当前为盒1，接下来的选盒概率分别为0.5, 0.2, 0.3；当前为盒2，接下来的选盒概率分别为0.3, 0.5, 0.2；当前为盒3，接下来的选盒概率分别为0.2, 0.3, 0.5。

抽球三次，得到观测序列 O = {红，白，红}，隐藏序列 I 未知（看不到从哪个盒子抽球）

由此，我们设立HMM模型，参数为：

O = {红，白，红}，T=3；V={红，白}，M=2； Q={盒子1，盒子2，盒子3}，N=3；

$\lambda =(A,B,\Pi )$

2 HMM的三个问题：

2.1 计算观察序列的概率

即 给定模型$\lambda =(A,B,\Pi )$，和观察序列$O=o_1,o_2,...,o_T$,计算$P(O|\lambda )$

2.1.1 前向算法

前向算法计算观察序列概率，基于DP的算法。

子问题：$i_t=q_i$时观察序列$O=(o_1,o_2,...,o_t)$为前向概率:

递归:

总结：

复杂度：$O(T{N}^2)$

2.1.2 后向算法

子问题：求$i_t=q_i$时观察序列$O=(o_t,o_{t+1},...,o_T)$为后向概率:

递归：

总结：

复杂度：$O(T{N}^2)$

2.1.3 利用前向概率和后向概率计算得到的重要的概率公式

1. 给定$\lambda$和O时, $i_t=q_i$的概率为:

2. 给定$\lambda$和O时，$i_t=q_i$且 $i_{t+1}=q_j$概率为:

   

2.2 求解HMM参数

也就是求$\lambda =(A,B,\Pi )$

2.2.1 已知观测序列和隐藏序列——最大似然

D个序列，利用最大似然求解

2.2.2 已知观测序列，隐藏序列未知——鲍姆-韦尔奇算法

原理同EM算法：

流程：

2.3 解码隐藏序列——维特比算法

给定模型和观测序列，预测最可能的隐藏序列I: m a x { P ( I ∣ O ) } max\{P(I|O)\} max{P(I∣O)}

基于DP，定义两个子问题：

1. $i_t=i$所有的可能路径的最大概率：

   

   递归：

   

2. $i_t=i$的概率最大的路径中的$i_{t-1}$：

   

流程：

参考资料：
刘建平HMM
隐马尔可夫模型HMM