隐马尔科夫模型总结

1.概念

• 状态序列：
  隐藏的马尔科夫链随机生成的状态序列，称为状态序列（state sequence）
• 观测序列
  每个状态生成一个观测，而由此产生的观测的随机序列，称为观测序列（obeservation sequence）
• 马尔科夫模型：
  马尔科夫模型是关于时序的概率模型，描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。

2 形式定义：

设Q是所有可能的状态的集合，V是所有可能的观测的集合。

$$Q={q_1,q_2,...,q_N},V={v_1,v_2,...,v_M}$$
其中，N是可能的状态数，M是可能的观测数。
I是长度为T的状态序列，O是对应的观测序列。
$$I=(i_1,i_2,...,i_T),O=(o_1,o_2,...,o_T)$$

• A是状态转移矩阵(一个时刻一个状态转移矩阵)：
  

  $$A=[a_{ij}]_{N×N}$$
  i=1,2,…,N; j=1,2,…,N
  其中，在时刻t，处于$q_i$ 状态的条件下在时刻t+1转移到状态$q_j$ 的概率：
  $$a_{ij}=P(i_{t+1}=q_j|i_t=q_i)$$

• B是观测概率矩阵(一个时刻一个观测概率矩阵)：
  

  $$B=[b_j(k)]_{N×M}$$
  k=1,2,…,M; j=1,2,…,N
  其中，在时刻t处于状态$q_j$ 的条件下生成观测$v_k$ 的概率：
  $$b_j(k)=P(o_t=v_k|i_t=q_j)$$

• π是初始状态概率向量：
  

  $$π=(π_i)$$
  其中，$π_i=P(i_1=q_i)$

隐马尔科夫模型由初始状态概率向量π、状态转移概率矩阵A和观测概率矩阵B决定。π和A决定状态序列，B决定观测序列。因此，隐马尔科夫模型λ可以由三元符号表示，即：

$$λ=(A,B,π)$$
A,B,π称为隐马尔科夫模型的三要素。

• 从定义可知，隐马尔科夫模型的两个基本假设：
  （1）：设隐马尔科夫链在任意时刻t的状态只依赖于其前一时刻的状态，与其他时刻的状态及观测无关，也与时刻t无关。（齐次马尔科夫性假设）
  （2）：假设任意时刻的观测只依赖于该时刻的马尔科夫链的状态，与其他观测和状态无关。（观测独立性假设）

3.概率计算问题

• 问题描述：给定模型$λ=(A,B,π)$ 和观测序列$O={o_1,o_2,...,o_T}$，计算在模型λ下观测序列O出现的概率P(O|λ)。

3.1 直接计算法

直接计算法是按照概率公式直接计算。通过列举所有可能的长度为T的状态序列I，求各个状态序列I与观测序列O的联合概率P(O,I|λ)，然后对所有可能的状态序列求和，得到P(O|λ)，即

$$P(O|λ)= \sum_IP(O|I,λ)P(I|λ)=\sum_Iπ_{i_1}b_{i_1}(o_1)a_{{i_1}{i_2}}b_{i_2}(o_2)...a_{{i_{T-1}}{i_T}}b_{i_T}(o_T)$$
计算量太大，时间复杂度：