HMM(前向后向概率)

隐马尔科夫模型参数(三要素)：

• 初始状态概率
• 转移概率
• 观测概率

两个基本假设：

• 齐次马尔可夫假设：HMM任一时刻t某一状态只依赖于其前一时刻的状态，与其它时刻的状态及观察无关，也即时刻t无关。
• 观测独立性假设：任一时刻的观测只依赖于该时刻的马尔科夫链状态，与其他时刻及状态无关。

HMM概率计算问题：
概率计算就是给定一个模型参数已知的HMM和一组观测序列，求这组观测序列由这个HMM所生成的概率。概率计算问题评价了模型的好坏。HMM概率计算算法主要有前向算法和后向算法。

• 前向算法
  前向概率：给定隐马尔科夫模型$\lambda$,定义到时刻t部分观察序列为$o_1,o_2,...o_t$且状态为$q_i$的概率为前向概率，记作：
  $${\alpha }_t(i)=P(o_1,o_2,...o_t,i_t=q_i|\lambda )$$
  1.初始化：${\alpha }_1(i)={\pi }_i{b}_i(O_1),1\le i\le N$
  2.递归计算：
  $${\alpha }_{t+1}(j)=({\sum }_{i=1}^N{\alpha }_t(i)a_{ij})b_j(O_{t+1}),1\le t\le T-1$$
  3.求和终结：
  $$P(O|\lambda )={\sum }_{i=1}^N{\alpha }_T(i)$$
  前向算法的时间复杂度是$O(N^{2}T)$.
• 后向算法
  后向概率：给定隐马尔科夫模型$\lambda$,定义在时刻t状态为$q_i$的条件下，从t+1时刻到T的部分观测序列为$o_{t+1},o_{t+2},...o_T$的概率为后向概率，记作：
  $${\beta }_t(i)=P(o_{t+1},o_{t+2},...o_T|i_t=q_i,\lambda )$$
  1.初始化：${\beta }_T(i)=1,1\le i\le N$
  2.递归计算：
  $${\beta }_t(i)={\sum }_{j=1}^N{a}_{ij}{b}_j(O_{t+1}){\beta }_{t+1}(j),T-1\ge t\ge 1,1\le i\le N$$
  3.求和终结：
  $$P(O|\lambda )={\sum }_{i=1}^N{\pi }_i{b}_i(O_1){\beta }_1(i)$$
  后向算法的时间复杂度是$O(N^{2}T)$.