统计学习方法——隐马尔可夫模型（二）

隐马尔可夫模型（二）

概率计算算法

这里介绍计算观测序列概率$P\left(O|\lambda \right)$的前向与后向算法。

直接计算法

给定模型$\lambda =\left(A,B,\pi \right)$和观测序列$O$，计算观测序列$O$出现的概率$P\left(O|\lambda \right)$，最直接的方法是按概率公式直接计算。

通过列举所有可能的长度为$T$的状态序列$I=\left(i_1,i_2,\cdots ,i_T\right)$，求各个状态序列$I$与观测序列$O$的联合概率$P\left(O,I|\lambda \right)$，然后对所有可能的状态序列求和，得到$P\left(O|\lambda \right)$。

状态序列$I=\left(i_1,i_2,\cdots ,i_T\right)$的概率是：
$$P\left(I|\lambda \right)={\pi }_{i_1}{a}_{i_1{i}_2}{a}_{i_2{i}_3}\cdots a_{i_{T-1}{i}_T}$$
对固定的状态序列$I=\left(i_1,i_2,\cdots ,i_T\right)$，观测序列$O$的概率是$P\left(O|I,\lambda \right)$:
$$P\left(O|I,\lambda \right)=b_{i_1}\left(o_1\right)b_{i_2}\left(o_2\right)\cdots b_{i_T}\left(o_T\right)$$
$O$和$I$同时出现的联合概率为：
$$P\left(O,I|\lambda \right)=P\left(O|I,\lambda \right)P\left(I|\lambda \right)={\pi }_{i_1}{b}_{i_1}\left(o_1\right)a_{i_1{i}_2}{b}_{i2}\left(o_2\right)\cdots a_{i_{T-1}{i}_T}{b}_{i_T}\left(o_T\right)$$
然后，对所有可能的状态序列$I$求和，得到的观测序列$O$的概率$P\left(O|\lambda \right)$，即
$$P\left(O|\lambda \right)=\sum _{I}P\left(O|I,\lambda \right)P\left(I|\lambda \right)=\sum _{i_1,i_2,\cdots ,i_T}{\pi }_{i_1}{b}_{i_1}\left(o_1\right)a_{i_1{i}_2}{b}_{i_2}\left(o_2\right)\cdots a_{i_{T-1}{i}_T}{b}_{i_T}\left(o_T\right)$$

此算法$P\left(O|\lambda \right)$的计算量很大，是$O\left(T{N}^T\right)$阶的，不可行。

前向算法

前向概率

给定隐马尔可夫模型$\lambda$，定义到时刻$t$部分观测序列为$o_1,o_2,\cdots ,o_t$，且状态为$q_i$的概率为前向概率，记作：
$${\alpha }_t\left(i\right)=P\left(o_1,\cdots ,o_T,i_t=q_i|\lambda \right)$$
可以递推地求得向前概率${\alpha }_t\left(i\right)$及观测序列概率$P\left(O|\lambda \right)$。

算法

• 输入：隐马尔科夫流程$\lambda$，观测序列$O$
• 输出：观测序列概率$P\left(O|\lambda \right)$
• 流程：
  • 初值
    $${\alpha }_t\left(i\right)={\pi }_i{b}_i\left(o_1\right),i=1,2,\cdots ,N$$
  • 递推
    对$t=1,2,\cdots ,T-1$，
    $${\alpha }_{t+1}\left(i\right)=\left[\sum _{j=1}^N{\alpha }_t\left(j\right)a_{ji}\right]b_i\left(o_{t+1}\right),i=1,2,\cdots ,N$$
  • 终止
    $$P\left(O|\lambda \right)=\sum _{i=1}^N{\alpha }_T\left(i\right)$$

后向算法

后向概率

给定隐马尔科夫模型$\lambda$，定义在时刻$t$状态为$q_i$的条件下，从$t+1$到$T$的部分观测序列为$o_{t+1},o_{t+2},\cdots ,o_T$的概率为后向概率，记作：
$${\beta }_t\left(i\right)=P\left(o_{t+1},o_{t+2},\cdots ,o_T|i_t=q_i,\lambda \right)$$

算法

• 输入：隐马尔可夫模型$\lambda$，观测序列$O$;
• 输出：观测序列概率$P\left(O|\lambda \right)$
• 流程：
  • 初始化后向概率
    $${\beta }_T\left(i\right)=1,i=1,2,\cdots N$$
  • 对$t=T-1,\cdots ,1$
    $${\beta }_t\left(i\right)=\sum _{j=1}^N{a}_{ij}{b}_j\left(o_{i+1}\right){\beta }_{t+1}\left(j\right),i=1,2,\cdots ,N$$
  • $P\left(O|\lambda \right)=\sum _{i=1}^N{\pi }_i{b}_i\left(o_1\right){\beta }_1\left(i\right)$

一些概率和期望

给定模型$\lambda$和观测$O$，在时刻$t$处于状态$q_i$的概率记为：
$${\gamma }_t\left(i\right)=\frac{{\alpha }_t\left(i\right){\beta }_t\left(i\right)}{\sum _{j=i}^N{\alpha }_t\left(j\right){\beta }_t\left(j\right)}$$
在时刻$t$处于状态$q_i$且在时刻$t+1$处于状态$q_j$的概率记为:
$${\xi }_t\left(i,j\right)=\frac{{\alpha }_t\left(i\right)a_{ij}{b}_j\left(o_{t+1}\right){\beta }_{t+1}\left(j\right)}{\sum _{i=1}^N\sum _{j=1}^N{\alpha }_t\left(i\right)a_{ij}{b}_j\left(o_{t+1}\right){\beta }_{t+1}\left(j\right)}$$

• 在观测状态$O$下状态$i$出现的期望值：
  $$\sum _{t=1}^T{\gamma }_t\left(i\right)$$
• 在观测状态$O$下由状态$i$转移的期望值：
  $$\sum _{t=1}^{T-1}{\gamma }_t\left(i\right)$$
• 在观测状态$O$下由状态$i$转移到状态$j$的期望值：
  $$\sum _{t=1}^{T-1}{\xi }_t\left(i,j\right)$$

参考文献

《统计学习方法》