维特比算法在HMM和CRF中的应用

背景

维特比算法是一个通用的解码算法，是基于动态规划的求序列最短路径的方法。
一般应用场景为HMM（隐马尔可夫模型）或CRF 中的解码（decoding）问题，在HMM模型的解码问题中，给定模型 $\lambda =(A,B,\Pi )$ 和观测序列 O = { o 1 , o 2 , … o T } O=\left\{o_{1}, o_{2}, \ldots o_{T}\right\} O={o1​,o2​,…oT​}, 求给定观测序列$O$的条件下, 最可能出现的对应的状态序列 I ∗ = { i 1 ∗ , i 2 ∗ , … i T ∗ } I^{*}=\left\{i_{1}^{*}, i_{2}^{*}, \ldots i_{T}^{*}\right\} I∗={i1∗​,i2∗​,…iT∗​},即 $P\left(I^{\ast }\mid O\right)$ 要最大化。
$$I^{\ast }=\arg \underset{I}{\max }p(I^{\ast }\mid O)$$
我们的目标是找到一个序列$I$使其概率最大，该序列对应一个路径，维特比算法可以求解该路径。

动态规划算法需要找到合适的局部状态, 以及局部状态的递推公式。在HMM中, 维特比算法定义了两个局部状态用于递推。
第一个局部状态是在时刻 $t$ 到达隐藏状态为 $q_i$的所有可能的状态转移路径 $i_1,i_2,\dots i_t$ 中的概率最大值。记为 ${\delta }_t(i)$ : 也就是观测变量
$${\delta }_t(i)=\underset{i_1,i_2,\dots i_{t-1}}{\max }P\left(i_t=q_i,i_1,i_2,\dots i_{t-1},o_t,o_{t-1},\dots o_1\mid \lambda \right),i=1,2,\dots N$$
由 ${\delta }_t(i)$ 的定义可以得到 $\delta$ 的递推表达式 $:$
$$\begin{array}{rl}{\delta }_{t+1}(j)& =\underset{i_1,i_2,\dots i_t}{\max }P\left(i_{t+1}=q_j,i_1,i_2,\dots i_t,o_{t+1},o_t,\dots o_1\mid \lambda \right)\\ & =\underset{1\le j\le N}{\max }\left[{\delta }_t(i)a_{ij}\right]b_j\left(o_{t+1}\right)\end{array}$$
$a_{ij}$表示从隐变量$q_i$转移到$q_j$的概率, $b_j(o_{t+1})$表示从隐变量$q_j$发射到观测变量为$(o_{t+1})$的概率。
第二个局部状态由第一个局部状态递推得到。

定义在时刻 $t+1$ 隐藏状态为 $q_i$的所有可能的状态转移路径 $\left(i_1,i_2,\dots ,i_{t-1},i\right)$ 中概率最大的转移路径中，第$t$ 个节点的隐藏状态为 ${\Psi }_{t+1}(i)$，其递推表达式可以表示为:
$${\Psi }_{t+1}(i)=\arg \underset{1<i<N}{\max }\left[{\delta }_t(j)a_{ji}\right]$$

根据这两个局部状态从0时刻递推到T时刻，利用T时刻${\Psi }_T(i)$记录的前一个最可能的状态节点进行回溯，直到找到最优的隐藏状态序列。

算法流程

HMM

HMM概念

HMM有两个假设

1. 齐次马尔科夫链假设。即任意时刻的隐藏状态只依赖于它前一个隐藏状态。
   如果在 时刻 $t$ 的隐藏状态是 $i_t=q_i$,在时刻 $t+1$ 的隐藏状态是 $i_{t+1}=q_j$, 则从时刻 $t$ 到时刻 $t+1$ 的HMM状态转移概率 $a_{ij}$ 可以表示为:
   $$a_{ij}=P\left(i_{t+1}=q_j\mid i_t=q_i\right)$$
   这样 $a_{ij}$ 可以组成马尔科夫链的状态转移矩阵 $A$ :
   $$A={\left[a_{ij}\right]}_{N\times N}$$
   N是每个时刻隐藏状态的个数
2. 观测独立性假设。即任意时刻的观察状态只依赖于当前时刻的隐藏状态。
   如果在时刻 $t$ 的隐藏状态是 $i_t=q_j$, 而对应的观察状态为 $o_t=v_k$, 则该时刻观察状态 $v_k$ 在隐藏状态 $q_j$ 下生成的概率为 $b_j(k)$,满足 :
   $$b_j(k)=P\left(o_t=v_k\mid i_t=q_j\right)$$
   这样 $b_j(k)$ 可以组成观测状态生成的概率矩阵 $B:$
   $$\mathbf{B}={\left[b_j(k)\right]}_{N\times M}$$
   M是每个时刻观测状态的总个数。
   除此之外，我们需要一组在时刻 $t=1$ 的隐藏状态概率分布$\Pi$:
   $$\Pi =[\pi (i){]}_N\text{ 其中 }\pi (i)=P\left(i_1=q_i\right)$$
   一个HMM模型，可以由隐藏状态初始概率分布$\Pi$, 状态转移概率矩阵 $A$ 和观测状态概率矩阵 $B$ 决定。 $\Pi ,A$ 决定状态序列， $B$ 决定观测序列。因此, HMM模型可以由一个三元组 $\lambda$ 表示如下:
   $$\lambda =(A,B,\Pi )$$

Viterbi in HMM

输入： HMM模型 $\lambda =(A,B,\Pi )$, 观测序列 $O=\left(o_1,o_2,\dots o_T\right)$
输出：最有可能的隐藏状态序列 I ∗ = { i 1 ∗ , i 2 ∗ , … i T ∗ } I^{*}=\left\{i_{1}^{*}, i_{2}^{*}, \ldots i_{T}^{*}\right\} I∗={i1∗​,i2∗​,…iT∗​}

1. 初始化局部状态:
   $$\begin{array}{c}{\delta }_1(i)={\pi }_i{b}_i\left(o_1\right),i=1,2\dots N\\ {\Psi }_1(i)=0,i=1,2\dots N\end{array}$$
2. 进行动态规划递推时刻 $t=2,3,\dots T$ 时刻的局部状态:
   $$\begin{array}{l}{\delta }_t(i)={\max }_{1\le j\le N}\left[{\delta }_{t-1}(j)a_{ji}\right]b_i\left(o_t\right),i=1,2\dots N\\ {\Psi }_t(i)=\arg {\max }_{1\le j\le N}\left[{\delta }_{t-1}(j)a_{ji}\right],i=1,2\dots N\end{array}$$
3. 计算时刻 $T$ 最大的 ${\delta }_T(i)$,即为最可能隐藏状态序列出现的概率。$i^{\ast }$即为时刻 $T$ 最可能的隐藏状态，令局部状态 ${\Psi }_T(i)=i_T^{\ast }$。
   $$\begin{array}{c}P\ast ={\max }_{1\le j\le N}{\delta }_T(i)\\ i_T^{\ast }=\arg {\max }_{1\le j\le N}\left[{\delta }_T(i)\right]\end{array}$$
4. 利用局部状态 $\Psi (i)$ 开始回溯。对于 $t=T-1,T-2,\dots ,1$ :
   $$i_t^{\ast }={\Psi }_{t+1}\left(i_{t+1}^{\ast }\right)$$
   最终得到最有可能的隐藏状态序列 I ∗ = { i 1 ∗ , i 2 ∗ , … i T ∗ } I^{*}=\left\{i_{1}^{*}, i_{2}^{*}, \ldots i_{T}^{*}\right\} I∗={i1∗​,i2∗​,…iT∗​}

Viterbi in CRF

输入：模型的 $K$ 个特征函数，和对应的 $K$ 个权重。
观测序列 $x=\left(x_1,x_2,\dots x_n\right)$, 可能的标记个数 $m$

输出：最优标记序列 $y^{\ast }=\left(y_1^{\ast },y_2^{\ast },\dots y_n^{\ast }\right)$

1. 初始化:
   $$\begin{array}{c}{\delta }_1(l)={\sum }_{k=1}^K{w}_k{f}_k\left(y_0=\text{ start },y_1=l,x,i\right)\},l=1,2,\dots m\\ {\Psi }_1(l)=\text{ start },l=1,2,\dots m\end{array}$$
2. 对于 $i=1,2\dots n-1$,进行递推：
   $${\delta }_{i+1}(l)=\underset{1\le j\le m}{\max }\left\{{\delta }_i(j)+\sum _{k=1}^K{w}_k{f}_k\left(y_i=j,y_{i+1}=l,x,i\right)\right\},l=1,2,\dots m$$
   $${\Psi }_{i+1}(l)=\arg \underset{1\le j\le m}{\max }\left\{{\delta }_i(j)+\sum _{k=1}^K{w}_k{f}_k\left(y_i=j,y_{i+1}=l,x,i\right)\right\},l=1,2,\dots m$$
3. 终止：
   $$y_n^{\ast }=\arg \underset{1\le j\le m}{\max }{\delta }_n(j)$$
4. 回溯：
   $$y_i^{\ast }={\Psi }_{i+1}\left(y_{i+1}^{\ast }\right),i=n-1,n-2,\dots 1$$
   最终得到最优标记序列 $y^{\ast }=\left(y_1^{\ast },y_2^{\ast },\dots y_n^{\ast }\right)$