维特比算法 python_HMM-维特比算法理解与实现（python）

解码问题

给定观测序列 \(O=O_1O_2...O_T\)，模型 \(\lambda (A,B,\pi)\)，找到最可能的状态序列 \(I^∗=\{i^∗_1,i^∗_2,...i^∗_T\}\)

近似算法

在每个时刻 \(t\) 选择最可能的状态，得到对应的状态序列

根据HMM-前向后向算法计算时刻 \(t\) 处于状态 \(i^*_t\) 的概率：

\[i^∗_t=argmax[\gamma_t(i)],t=1,2,...T\\

\gamma_t(i) = \frac{\alpha_{i}(t) \beta_{i}(t)}{\sum_{i=1}^{N} \alpha_{i}(t) \beta_{i}(t)}

\]

但是无法保证得到的解是全局最优解

维特比算法

维特比算法的基础可以概括为下面三点(来源于吴军：数学之美)：

如果概率最大的路径经过篱笆网络的某点，则从起始点到该点的子路径也一定是从开始到该点路径中概率最大的。

假定第 t 时刻有 k 个状态，从开始到 t 时刻的 k 个状态有 k 条最短路径，而最终的最短路径必然经过其中的一条。

根据上述性质，在计算第 t+1 时刻的最短路径时，只需要考虑从开始到当前的k个状态值的最短路径和当前状态值到第 t+1 时刻的最短路径即可。如求t=3时的最短路径，等于求t=2时,从起点到当前时刻的所有状态结点的最短路径加上t=2到t=3的各节点的最短路径。

通俗理解维特比算法，对上面三点加深理解

假如你从S和E之间找一条最短的路径，最简单的方法就是列出所有可能的路径 (\(O(T^N)\))，选出最小的，显然时间复杂度太高。怎么办？(摘自[3])

使用维特比算法

S到A列的路径有三种可能：S-A1,S-A2,S-A3，如下图

S-A1,S-A2,S-A3 中必定有一个属于全局最短路径。继续往右，到了B列

对B1：