HMM经典介绍论文【Rabiner 1989】翻译（六）——概率计算问题

3. HMM三类问题的求解方法

3.1 问题1的求解方法

给定模型$\lambda$，希望计算观测序列$O=O_1O_2\cdots O_T$的概率，即$P(O|\lambda)$。最直接的计算方式是枚举所有长度为$T$的状态序列。对某个状态序列

$$Q=q_1q_2\cdots q_T \tag{12}$$

其中$q_1$是初始状态。在上面的状态序列的条件下，观测序列$O$的概率是

$$P(O|Q,\lambda)=\prod_{t=1}^T P(O_t|q_t, \lambda), \tag{13a}$$

这里假设观测是独立的。于是

$$P(O|Q, \lambda)=b_{q_1}(O_1)\cdot b_{q_2}(O_2)\cdots b_{q_T}(O_T). \tag{13b}$$

状态序列$Q$的概率为

$$P(Q|\lambda)=\pi_{q_1}a_{q_1q_2}a_{q_2q_3}\cdots a_{q_{T-1}q_T}. \tag{14}$$

于是$O$和$Q$的联合概率为

$$P(O, Q|\lambda ) = P(O|Q, \lambda) P(Q, \lambda). \tag{15}$$

通过对所有可能的状态序列的联合概率进行求和可以得到$O$的概率：

$$\begin{align} P(O|\lambda) &= \sum_{Q} P(O|Q, \lambda)P(Q|\lambda) \tag{16} \\\\ &=\sum_{q_1, q_2, \cdots, q_T} \pi_{q_1}b_{q_1}(O_1)a_{q_1q_2}b_{q_2}(O_2) \nonumber \\\\ & \space \cdots a_{q_{T-1}q_T}b_{q_T}(Q_T). \tag{17} \end{align}$$

上面的计算公式可以这样理解：在初始时刻（$t=1$），我们以概率$\pi_{q_1}$选择状态$q_1$，然后以概率$b_{q_1}(O_1)$生成观测值$O_1$。在时刻由$t$到$t+1$时，我们从状态$q_1$以概率$q_{q_1q_2}$转移到状态$q_2$，然后以概率$b_{q_2}(O_2)$生成观测值$O_2$。重复这个过程直到生产时刻$T$的观测值$O_T$。

根据公式(17)直接计算$P(O|\lambda)$的时间复杂度是$2T\cdot N^T$阶的，因为在每个时刻$t=1,2,\cdots, T$，都有$N$种可能的状态，即共有$N^T$种可能的状态序列，对每个状态序列需要大概$2T$的计算量。更准确地，我们需要$(2T-1)N^T$次乘法，$N^T-1$次加法。即使对比较小的$N$和$T$,这个计算量也是非常大的，比如$N=5,T=100$，计算量是$2\cdot 100 \cdot 5^{100}\approx 10^{72}$阶的。很显然，我们需要一个更有效的方法来解决问题1。这个方法称为前向-后向过程。

事实上，我们只需要前向-后向过程中的前向过程来求解问题1。我们在这节也会介绍后向过程，因为在求解问题3的时候会用到。定义前向变量

$$\alpha_t(i)=P(O_1O_2\cdots O_t , q_t=S_i|\lambda) \tag{18},$$

即给定模型$\lambda$，到时刻$t$部分观测序列为$O_1O_2 \cdots O_t$且$t$时刻的状态为$S_i$的概率。我们可以通过归纳计算$\alpha_i(i)$：

1）初始化：

$$\alpha_1(i)=\pi_i b_i(O_1), \quad 1\leq i \leq N. \tag{19}$$

2）归纳计算：

$$\alpha_{t+1}(j) = \left[ \sum_{i=1}^N \alpha_t(i)a_{ij} \right] b_j(O_{t+1}), \quad 1\leq t \leq T-1, 1\leq j \leq N. \tag{20}$$

3）终止：

$$P(O|\lambda) = \sum_{i=1}^N \alpha_{T}(i). \tag{21}$$

步骤1)初始化前向概率为状态$S_i$和$O_1$的联合概率。归纳过程时前向算法的核心，如图4(a)所示。这个图展示了$t+1$时刻的状态$S_j$可以由$t$时刻的$N$个可能状态$S_i, 1\leq i \leq N$到达。由于$\alpha_t(i)$是部分观测序列$O_1O_2\cdots O_t$和$q_t=S_i$的联合概率，所以乘积$\alpha_t(i)a_{ij}$是部分观测序列为$O_1O_2\cdots O_t$并且$q_t=S_i,q_{t+1}=S_j$的联合概率。对时刻$t$所有可能的$N$个状态对应的乘积求和，结果就是观测序列为$O_1O_2\cdots O_t$并且$q_{t+1}=S_j$的联合概率。这个结果与观测概率$b_j(O_{t+1})$的乘积就是$\alpha_{t+1}(j)$。对给定时刻$t$，计算所有状态$j,1\leq j \leq N$前向概率；然后对所有$t=1,2,\cdots, T-1$迭代计算。步骤3）给出了$P(O|\lambda)$的计算公式。因为

$$\alpha_T(i) = O(O_1O_2\cdots O_T, q_T=S_i | \lambda) \tag{22},$$

所以$P(O|\lambda)$是$\alpha_T(i)$的和。

前向概率计算$P(O|\lambda)$的计算量是$N^2T$阶（$N(N+1)(T-1) +N$次乘法和$N(N-1)(T-1)次加法$）的，而不是直接计算的$TN^T$阶。对$n=5,T=100$，前向算法只需要3000次计算，而不是$10^{72}$次。

前向算法高效的关键在于图4(b)所示的结构。在时刻$t=1$时刻，计算$\alpha_1(i), 1\leq i \leq N$的。在时刻$t=2,3,\cdots, T$，只需要计算$\alpha_t(j), 1\leq j \leq N$，其中每个值的计算利用了前一时刻的$N$个$\alpha_{t-1}(i)$。

类似地，定义后向变量$\beta_t(i)$：

$$\beta_t(i)=P(O_{t+1}O_{t+2}\cdots O_T|q_t=S_i, \lambda) \tag{23}$$

即在$t$时刻的状态为$S_i$和给定模型$\lambda$的条件下，从$t+1$到$T$时刻的部分观测序列为$O_{t+1}O_{t+2}\cdots O_T$的概率。

仍然可以用归纳的方法计算$\beta_t(i)$:

1) 初始化：

$$\beta_T(i)=1, \quad 1\leq i \leq N. \tag{24}$$

2）归纳：

$$\beta_t(i)=\sum_{j=1}^N a_{ij}b_j(O_{t+1})\beta_{t+1}(j), \quad t=T-1, T-2,\cdots, 1, 1\leq i \leq N. \tag{25}$$

如图5所示，为了计算在$q_t=S_i$的条件下，$t+1$时刻后的观测序列为$O_{t+1}O_{t+2}\cdots O_T$的后向概率，需要考虑$t+1$时刻所有可能状态$S_j$的转移概率（$a_{ij}$），以及此状态下的观测概率（$b_{j}(O_{t+1})$），然后考虑状态$S_j$之后的观测序列的后向概率（$\beta_{t+1}(j)$）。我们后面会看到如何利用前向计算以及后向计算来解决问题2和问题3。

$\beta_t(i), 1\leq t \leq T, 1\leq i \leq N$的计算量是$N^2T$阶的。