隐马尔可夫模型(四)——维特比算法

一、问题回顾

隐马尔可夫的预测问题，也称为解码问题。即给定模型λ=(A,B,Π)和观测序列O={o₁,o₂,…o_T}，求给定观测序列条件下，最可能出现的对应的状态序列。这个问题的求解需要用到基于动态规划的维特比算法，我会在隐马尔可夫模型系列的第四篇博客中讲解。

二、近似算法

在讲解维特比算法之前，我们先来看一种求解该问题的近似算法。
问题：在给定观测序列 O = {o₁, o₂,…, o_T} 的条件下，求最优的状态序列 I^* = { i₁^* , i₂^*, …, i_T^*}。
近似算法的思路：分别求出每一时刻 t 对应的最优状态 i_t^* 。
求解：
用 γ_t( i )表示在观测序列O给定条件下，时刻 t 的状态为 q_i 的概率，即 γ_t( i ) = P( i_t = q_i | O；λ)，可以用前面博客中讲到的前向概率和后向概率将 γ_t( i )表示如下：


由 γ_t( i )的表达式就可以看出：

分别计算每一时刻 t 的最优状态，最终就可以得到最优状态序列 I^* = { i₁^* , i₂^*, …, i_T^*}。
弊端：
只能保证每一时刻 t 对应的状态是最优的，但不能保证最后得到的整体状态序列是最优的，而且最终的状态序列可能都不会发生。

三、维特比算法

维特比算法用动态规划来解决隐马尔可夫的预测问题，思路是：先迭代求解出最后时刻 T 的最优状态 i_T^* ，然后利用 T-1 时刻所记录的内容找到时刻 T 的最优状态为 i_T^* 时所对应的T-1 时刻的最优状态 i_T-1^* ，就这样向前回溯就能得到整个最优的状态序列。

维特比算法用到两个符号，如下所示：
(1) δ_t( i )
δ_t( i )表示 t 时刻的状态为 q_i 且部分状态序列和部分观测序列发生的概率， 即 δ_t( i ) = P(i_t=q_i, i_t-1, i_t-2 ,…, i₁, o_t, o_t-1 ,…, o₁；λ)，其中 t=1,2,…,T；i=1,2,…,N。可见，使得δ_t( i )取最大值的 状态q_i 就是时刻 t 的最优状态，而且δ_t( i )考虑了 t 时刻之前的所有状态及其对应的观测，所以比近似算法要更可靠一点。
转换：
为了方便引入下一个符号表示，这里将 δ_t( i ) 再做一下适当的转换， 即 δ_t( i ) = P( i_t=q_i, i_t-1=q_j, i_t-2 ,…, i₁, o_t, o_t-1 ,…, o₁；λ)，其中 t=1,2,…,T；i=1,2,…,N；j=1,2,…,N，使得δ_t( i )取最大值的 状态q_i 依然是时刻 t 的最优状态，只是每一次在计算δ_t( i ) 时需要额外计算 i_t-1=q_j的N种情况。
解释如下：
如果用原来的式子计算 δ_t( 1 )，即δ_t( 1 ) = P(i_t=q₁, i_t-1, i_t-2 ,…, i₁, o_t, o_t-1 ,…, o₁；λ)，只需计算一次即可，所以从δ_t( 1 )计算到δ_t( N )只需计算N次，然后从这N个概率中选一个最大的概率所对应的状态作为时刻 t 的最优状态。

如果用 δ_t( 1 ) = P( i_t=q₁, i_t-1=q_j, i_t-2 ,…, i₁, o_t, o_t-1 ,…, o₁；λ) 来计算，则需要计算N次，因为 q_j 有N种情况，所以从δ_t( 1 )计算到δ_t( N )需要计算N² 次，然后从这N²个概率中选一个最大的概率所对应的状态作为时刻 t 的最优状态。看似是将问题变得更麻烦了，其实是为了利用上一次计算的结果，比如在计算δ_t( 2 ) 时会用到δ_t( 1 ) 的结果，这一来可以减少计算，方便我们导出递推公式。它还有另外一个好处就是回溯，我将会在下文进行解释。
递推公式：
因为 δ_t( i ) = P( i_t=q_i, i_t-1=q_j, i_t-2 ,…, i₁, o_t, o_t-1 ,…, o₁；λ)，所以δ_t+1( i ) = P( i_t+1=q_i, i_t=q_j, i_t-2 ,…, i₁, o_t+1, o_t-1 ,…, o₁；λ)，即：

(2) Ψ_t( i )
用 Ψ_t( i )来记录当时刻 t 的最优状态为 q_i 时，时刻 t-1 的状态。符合 Ψ_t( i )是专门为了回溯设立的，所以它和δ_t( i )有着类似的表达式，即：

利用上面将到的符号 δ_t( i ) 可以将Ψ_t( i )化简为：

当q_i是 t 时刻的最优状态时，使得Ψ_t( i )概率达到最大的 q_j 就是 t-1 时刻的最优状态，我们用Ψ_t( i )记录下此时的 q_j 。

维特比算法流程：
输入：模型λ=(A, B,Π )和观测序列 O = {o₁,o₂,…o_T}
输出：最优状态序列 I^* = { i₁^* , i₂^*, …, i_T^*}
(1)初始化
δ₁(i) = π_ib_i(o₁) ,i=1,2,…,N
Ψ₁( i ) = 0，i=1,2,…,N
(2)递推，对于 t = 2, 3, … , T，计算

(3)当 t = T 时终止
此时我们已经求得δ_T(i) ,i=1,2,…,N，所以得到 T 时刻的最优状态为：

(4)回溯，对于t = T-1, T-2, … , 1
我们已经求出来 i_T^* ,所以用 Ψ_T( i_T^*) 就可以得到 T-1 时刻的最优状态。通过下式可以求出时刻 T-1 到 时刻 1 的最优状态：

最终可以得到最优的状态序列 I^* = { i₁^* , i₂^*, …, i_T^*}。