viterbi算法通俗理解

最新推荐文章于 2022-02-25 00:00:47 发布

Sailist

最新推荐文章于 2022-02-25 00:00:47 发布

阅读量7k

点赞数 7

分类专栏：深度学习笔记文章标签： viterbi算法 NLP

本文链接：https://blog.csdn.net/sailist/article/details/83064985

版权

Viterbi算法是一种最优路径计算方法，常用于隐马尔可夫模型中解决解码问题。它通过计算每个状态到当前状态的最大概率路径，找到最可能的隐藏状态序列。算法包括理解其手动计算过程、推论和代码实现，同时指出其在特定情况下可能存在的局限性和解决方法。

摘要由CSDN通过智能技术生成

文章目录

viterbi算法是什么

viterbi算法简要的概括一下，是一种最优路径的计算方法，它是向前算法的一种变体，比向前算法的复杂度要低很多，并且最终能够得到最优解。

手动理解

在理解viterbi算法之前，我们先来跟随步骤计算一下下面这幅图从左到右的最大路径
在这里插入图片描述

下面我们计算的步骤，就是viterbi算法的整个过程：
1.计算从s到所有的x的路径长度，因为s到每一个x只有一条路径，因此不需要做选择
在这里插入图片描述
2.计算每个x到每个y的路径，并分别选出每个x到每一个y的最大路径，对于图中，就是x1->y2和x2->y1

3.重复上述步骤，计算每个y到e的最大路径，如图，即y2->e
在这里插入图片描述

那么，最长路径即为25，并且该条路径为s->x1->y2->e，至此，viterbi算法结束。

为了方便推导，这里求的最大路径，计算是通过路径相加求得，可以换个思路，求最小路径是不是这个道理？如果换成状态，求条件概率，路径长度为状态转移概率，是不是这个道理？

缺点分析

viterbi算法主要有两个主要的限制（摘自《自然语言处理综论》P157）：

对于给定的声学输入，该算法不计算具有最大概率的单词序列，而是计算与这一的单词序列近似的。对于给定的输入具有最大概率的状态序列（即音子序列或次音子序列）。但是有时概率最大的音子序列并不对应于概率最大的单词序列。如：在一个语音识别系统中，当词表中的每个单词都有多个发音时，就会出现音子序列与单词序列不对应的情况。因为具有多个发音的单词模型的正确的发音路径的概率的原因，可能计算后会小于不正确的但只有一个发音的单词的概率。
不能用于所有可能的语言模型。

缺点解决：修改算法，每个状态返回前N个值，即缩小了搜索空间，也能更好的适用于其他模型求得最优解。

算法详解

算法推论

理解这个算法，首先需要想明白以下几点：

如果路径最大的路径P经过了某个节点，如y2，那么从该路径（s->x1->y2），一定是从s到y2的最长路径。（否则的话，从s到y2一定会有一条更长的路径能替代这条路径，路径P就不是路径最长的了）
从S到E的路径必定经过第i时刻的某个状态（以上图为例，则必定经过某个x和某个y），假定第i时刻有k个状态，那么如果记录了从S到第i个状态的所有k个节点的最长路径，最终的最短路径必经过其中的一条。（如经过y时有y1和y2，那么最终的最长路径一定经过从s到某个y的最长路径中的一条，即必定经过s->x1->y2或s->x2->y1）这样，在任何时刻，只需要考虑非常有限条最短路径即可。
因此，当我们已经计算出了从s到状态i的最大距离，并且准备进入状态i+1时，我们只需要计算从状态i的k个节点到状态i+1的k个节点的距离并选出到状态i+1的每个节点的最大距离即可。

viterbi与隐马尔可夫

很多人都用隐马尔科夫模型来回答viterbi算法，其实viterbi算法只是解决隐马第三个问题（求观察序列的最可能的标注序列）的一种实现方式。这个问题可以用于viterbi算法实现，也可以用其他方式实现（如穷举法）；
而viterbi算法可以用于解决隐马第三问题，也可以用于解决其他问题。所以千万不要把viterbi算法和隐马尔科夫模型等价了。
作者：岳席文
链接：https://www.zhihu.com/question/20136144/answer/154753703
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

隐马尔科夫链的三个基本问题

概率计算问题 / 评估问题：即给定模型λ=(A,B,π)和观测序列O，计算在模型λ下观测序列出现的最大概率P(O|λ)；
学习问题：即给定观测序列O，估计模型的参数λ, 使得在该参数下观测序列出现的概率最大，即P(O|λ)最大；
解码问题 / 预测问题：给定模型λ=(A,B,π)和观测序列O，计算最有可能产生这个观测序列的隐含序列X, 即使得概率P(X|O,λ)最大的隐含序列X。