隐马尔可夫模型——维特比算法

维特比算法

了解 隐马尔可夫模型的前向算法和后向算法 可以帮助理解本文

维特比（Viterbi）算法用于求解 HMM 中的第二个问题，即给定一个观察序列 $O=O_1{O}_2\dots O_T$ 和模型$\mu =\left(A,B,\pi \right)$ ，如何快速有效地选择在一定意义下「最优」的状态序列 $Q=q_1{q}_2\dots q_t$ ，使得该状态序列「最好地解释」观察序列。这个问题的答案并不是唯一的，因为它取决于对「最有状态序列」对理解。一种理解是，使钙状态序列中每一个状态都单独地具有最大概率，即要使得 ${\gamma }_t(i)=P(q_t=s_i|O,\mu )$ 最大。

根据贝叶斯公式，有
$${\gamma }_t(i)=P(q_t=s_i|O,\mu )=\frac{P(q_t=s_i,O|\mu )}{P(O|\mu )}$$
使用前向算法和后向算法的结论：
$$P(O,q_t=s_i|\mu )={\alpha }_t(i){\beta }_t(i)$$
和
$$P(O|\mu )=\sum _{i=1}^N{\alpha }_t(i){\beta }_t(i),1\le t\le T$$
可得
$${\gamma }_t(i)=\frac{a_t(i){\beta }_t(i)}{{\sum }_{i=1}^N{\alpha }_t(i){\beta }_t(i)}\text{\hspace{1em}(2-1)}$$
那么，在时间 $t$ 的最优状态为
$$\widehat{q_t}=\underset{1\le i\le N}{\mathrm{argmax}}[{\gamma }_t(i)]$$
根据这种对「最优状态序列」的理解，如果只考虑每个状态的出现都单独达到最大概率，而忽略了状态序列中两个状态之间的关系，可能导致两国状态 $\widehat{q_t}$ 和 $\widehat{q_{t+1}}$ 之间的转移概率为 0，即 $a_{\widehat{q_t}\widehat{q_{t+1}}}=0$ 。那么在这种情况下，「最优状态序列」不是一个合法的序列。因此，常常采用另一种对「最优状态序列」的理解：在给定模型 $\mu$ 和观察序列 $O$ 的条件下，使条件概率 $P(Q|O,\mu )$ 最大的状态序列，即
$$\hat{Q}=\underset{Q}{\mathrm{argmax}}P(Q|O,\mu )\text{\hspace{1em}(2-2)}$$
根据这种理解，优化的不是状态序列中的单个状态，而是整个状态序列，不合法的状态序列的概率为 0 。

维特比算法运用动态规划的搜索算法求解这种最优状态序列。为了实现这种搜索，首先定义了一个维特比变量 ${\delta }_t(i)$ 。

定义2-1 维特比变量 ${\delta }_t(i)$ 是在时间 $t$ 时，HMM 沿着某一条路径到达状态 $s_i$ ，并输出观察序列 $O_1{O}_2\dots O_t$ 的最大概率：
$${\delta }_t(i)=\underset{q_1,q_2,\cdot \cdot \cdot ,q_{t-1}}{\max }P(q_1,q_2,\cdot \cdot \cdot ,q_t=s_i,O_1{O}_2\dots O_t|\mu )\text{\hspace{1em}(2-3)}$$
与前向变量类似，${\delta }_t(i)$ 有如下递归关系：
$${\delta }_{t+1}(i)=\underset{j}{\max }[{\delta }_t(i)\cdot a_{ij}]\cdot b_i(O_{t+1})\text{\hspace{1em}(2-4)}$$
这种递归关系使我们能够运用动态规划搜索技术。为了记录在时间 $t$ 时，HMM 通过哪一条概率最大的路径到达状态 $s_i$ ，维特比算法设置了另外一个变量 ${\psi }_t(i)$ 用于路径记忆，让 ${\psi }_t(i)$ 记录该路径上状态 $s_i$ 的前一个（在时间 $t-1$ 的）状态。根据这种思路，给出如下维特比算法。

算法2-1 维特比算法（Viterbi algorithm）

（1）初始化：
$$\begin{array}{rl}{\delta }_t(i)& ={\pi }_i{b}_i(O_1),1\le i\le N\\ {\psi }_1(i)& =0\end{array}$$
（2）归纳计算：
$${\delta }_t(j)=\underset{1\le i\le N}{\max }[{\delta }_{t-1}(i)\cdot a_{ij}]\cdot b_j(O_t),2\le t\le T;1\le j\le N$$
​ 记忆回退路径
$${\psi }_t(j)=\underset{1\le i\le N}{\mathrm{argmax}}[{\delta }_{t-1}(i)\cdot a_{ij}]\cdot b_j(O_t),2\le t\le T;1\le j\le N$$
（3）终结计算：
$$\begin{array}{rl}\widehat{Q_T}& =\underset{1\le i\le N}{\mathrm{argmax}}[{\delta }_T(i)]\\ \hat{P}(\widehat{Q_T})& =\underset{1\le i\le N}{\max }[{\delta }_T(i)]\end{array}$$
（4）路径（状态序列）回溯：
$$\widehat{q_t}={\psi }_{t+1}({\hat{q}}_{t+1}),t=T-1,T-2,\cdot \cdot \cdot ,1$$
维特比算法的时间复杂度和前向算法、后向算法一致，也是 $O(N^{2}T)$ 。

参考资料

宗成庆. 统计自然语言处理(第2版). 统计自然语言处理. 2008.

本作品采用知识共享署名-非商业性使用 3.0 未本地化版本许可协议进行许可。欢迎转载，演绎，但是必须保留本文的链接，不得用于商业目的。如您有任何疑问或者授权方面的协商，请与我联系。