上一篇博客说了,前向算法在解码过程中也有涉及的。其实解码中过程的viterbi维特比算法,与前向算法(forward algorithm)很类似,不同点在与前向算法是计算求和,而维特比算法是求最大路径,并记录下来,以便回溯。
(1)
其实除了求最大值外,跟前向算法的计算过程依赖的参数都相似。
同时,viterbi过程还需要另一个矩阵来保存中间参数,就是backpointer,它来指示每个viterbi网格节点的值是前一时刻的哪个状态计算得来的。而且,在初始步骤,也就是t=1时刻,与前向算法的处理一模一样,backpointer的第一列的值都为0,也就是start状态,因为他们都是从那个默认的初始转态计算得到的唯一值,当然就是最大值了,所以都指向那个状态。
当t=2,3,...,N后,计算过程就不太一样了。前向算法把前一时刻的每一个状态对应的值乘以到当前t时刻j状态的转移概率并累加和,后作为当前j状态的计算结果一部分。而维特比算法只保留那个最大值,并把对应的状态i记录下,放到对应的backpointer矩阵项中。
下面是《Speech and Language Processing》353页关于维特比算法的伪代码。
它下面有一段话是这样写的。“The real usefulness of the Viterbi decoder, of course, lies in its ability to decode a string of words. In order to do cross-word decoding, we need to augment the A matrix, which only has intra-word state transitions, with the inter-word probability of transitioning from the end of one word to the beginning of another word.”
前面的关于维特比算法的介绍是没有实用价值的。