NLP实习面试准备-HMM(二)

1. 概率计算问题：给定已知参数的HMM和一个观测序列（即给定$\lambda$和$O$），如何计算出由HMM得到此观测序列的概率？

1. 直接计算：
   由隐马尔科夫模型首先计算(通过初始状态概率向量和状态概率转移矩阵求)得到可以产生的所有状态序列的概率，假设状态空间有$N$个状态，则长度为$T$状态序列的种类数为$N^T$；
   求得所有状态序列的概率后通过观测概率转移矩阵得到在某一状态序列条件下的到此观测序列的概率。
   对由$N^N$个状态序列计算得到的观测序列概率相加得到最终的观测序列的概率。
   此过程的时间复杂度为$O(T{N}^T)$。

2. 前项计算：利用了动态规划的思想减少了直接计算需要重复计算的一些过程。时间复杂度$O(N^{2}T)$
   前项概率：
   对于隐马尔科夫模型$\lambda =(\pi ,A,B)$. 定义到第$t$步时观测序列为$o_1,o_2,...,o_t$,并且第t步的状态$i_t$为$q_i$的概率为前项概率,即为$a_t(i)$。
   用公式表示为：
   $$a_t(i)=P(o_1,o_2,...,o_t,i_t=q_i|\lambda )$$
   算法过程：

   1. 计算初值：
      $$a_1(i)={\pi }_i{b}_i(o_1),i=1,...,N$$
   2. 通过第$t$时刻的前项概率可以得到第$t+1$时刻的前向概率：
      $$a_{t+1}(i)=b_i(o_{t+1})\sum _{j=1}^N{a}_{ji}{a}_t(j),i=1,...,N$$
   3. 第T时刻的所有前向概率$a_T(i),i=1,...N$得到后可以计算得到最终观测序列的概率：
      $$P(O|\lambda )=\sum _{i=1}^N{a}_T(i)$$

3. 后向计算：
   后向概率：给定HMM($\lambda (\pi ,A,B)$),在第$t$步隐状态为$q_i$的条件下，从第$t+1$到$T$步的部分观测序列为$o_{t+1},...o_T$的概率：
   $$B_t(i)=P(o_{t+1},o_{t+2},...,o_T|i_t=q_i,\lambda ),i=1,2,...N$$
   算法过程：

   1. $B_t(i)=1,i=1,2,...,N$
   2. t = T − 1