viterbi算法_Viterbi解码-可能是最易懂且全面的隐马尔可夫介绍（二）

写作时间2020年3月14日

我翻了翻自己的blog，发现自己真的是很认真的写了好几次HMM相关的，可是经常性的没有切入到足够痛的点上。这次我痛定思痛的决定把HMM的三个任务都在这里写一下，并且给出相应的demo。

参考文献在最后，主要是从SLP中拿的例子，编程是从wiki百科拿的。李航老师的用来印证一些疑惑的点。稍微吐槽一下 中英文的wiki中的代码以及说的详细程度都不太一样，推荐去看英文的。

--机智如我的发现这里能贴的图有数量上限，那可真是太有意思了。一篇拆成了两篇。

可以直接看这个，但是forward 算法更像是是一个简化版的viterbi，更容易理解，就像是先理解0-1背包，再理解无限背包类似的关系吧。

接上一篇：

小李杜ljyduke：可能是最易懂且全面的隐马尔可夫介绍​zhuanlan.zhihu.com

Problem 2 Decoding-Viterbi

接着，我们来讲Viterbi解码。这个概念大家都懂，在很多地方也会用到。CRF的解码也会用，（CRF和HMM两个东西区分清楚了么？）

好了我们接下来看问题二，解码部分。

For any model, such as an HMM, that contains hidden variables, the task of determining which sequence of variables is the underlying source of some sequence of decoding observations is called the decoding task. In the ice-cream domain, given a sequence of ice-cream observations 3 1 3 and an HMM, the task of the decoder is to find the best hidden weather sequence (H H H).

任务定义：对于任何模型来说，例如HMM这样包含隐变量的模型，决定 能决定观测序列 的因状态序列的任务 叫做decoding 任务。（仔细品味一下）这个叫做解码的任务定义。那么对于我们的冰激凌问题来说，给定一个观测序列313 和 HMM（即对应的参数）那么decoder的任务就是找到最优的隐藏天气序列（HHH）

看一下正式的定义：

好的这个很好理解。对于POS任务来说，就是给了你一句话，让你将对应的实体属性值给标记到每个char（word）上。NLPer都能理解吧。

直觉的方法：

我们可以对每个可能的隐状态，都作为condition代入公式中直接计算，在给定隐状态的情况下的观测序列的likelihood。那么我们可以找出在最大P(O,Q)的隐状态序列。但是上一章这个的时间复杂度是（T*N^T）。

但是同样的，上一章我们还分析了一个东西，就是在直觉方法计算中，我们其实是重复计算了很多东西，如果我们还可以把这些东西保存下来的话，就可以直接用来计算了。

我们来看一张图：

上图中说的很清楚：你看我们在计算的时候，和那个forward是真的很像，区别在于那个max，聪明的我用红色的框框了出来（你说这句话机器能看懂么）。请与上一章可能是最易懂且全面的隐马尔可夫介绍（一）中讲forward算法的图比对一下，是不是很显然只有这个地方不同。那么我们就很容易得到下面的公式：

所以我们经常用Viterbi算法来计算（公式画出来不太一样啊，在下面比较那里）。