最短路径算法:维特比算法(Viterbi)(基于动态规划思想)【解决篱笆网络的最短路径问题】【应用场景:分词、命名实体识别、词性标注】【每个节点只保留其来时最优路径】

一、篱笆网络(Lattice)的最短路径问题

已知下图的篱笆网络,每个节点之间的数字表示相邻节点之间的距离,举个例子来说,如果我走,这个距离是。那么如果让你从A走到E,最短路径是哪一条呢?
在这里插入图片描述
显然大家都知道,通过穷举的方法是很容易得到最短路径,可是问题就在于如果穷举的话,需要的加法次数不用算你也知道实在是太多啦(每条路径需要计算次加法,一共条路径共次计算)!像这种没几层的篱笆网络也就罢了,如果每层13个节点,一共12层(然而这个规模对于标注问题来说也依然根本不算什么),可想而知那个线有多乱,如果仅仅穷举的话,这个计算量(大致是每条次计算,一共条路径共大约次计算)怕是超级计算机也吃不消。

如下图,假如你从S和E之间找一条最短的路径,除了遍历完所有路径,还有什么更好的方法?答案:viterbi (维特比)算法。

在这里插入图片描述

viterbi维特比算法解决的是篱笆型的图的最短路径问题,图的节点按列组织,每列的节点数量可以不一样,每一列的节点只能和相邻列的节点相连,不能跨列相连,节点之间有着不同的距离,距离的值就不在图上一一标注出来了,大家自行脑补。

为了找出S到E之间的最短路径,我们先从S开始从左到右一列一列地来看。

首先起点是S,从S到A列的路径有三种可能:S-A1、S-A2、S-A3,如下图:

在这里插入图片描述

我们不能武断地说S-A1、S-A2、S-A3中的哪一段必定是全局最短路径中的一部分,目前为止任何一段都有可能是全局最短路径的备选项。

我们继续往右看,到了B列。按B列的B1、B2、B3逐个分析。

先看B1:

在这里插入图片描述
在这里插入图片描述

如上图,经过B1的所有路径只有3条:

S-A1-B1

S-A2-B1

S-A3-B1

以上这三条路径,各节点距离加起来对比一下,我们就可以知道其中哪一条是最短的。假设 S-A3-B1 是最短的,那么我们就知道了经过B1的所有路径当中S-A3-B1是最短的,其它两条路径路径S-A1-B1和S-A2-B1都比S-A3-B1长,绝对不是目标答案,可以大胆地删掉了。删掉了不可能是答案的路径,就是viterbi算法(维特比算法)的重点,因为后面我们再也不用考虑这些被删掉的路径了。现在经过B1的所有路径只剩一条路径了,如下图:

在这里插入图片描述

接下来,我们继续看B2:

在这里插入图片描述

同理,如上图,经过B2的路径有3条:

S-A1-B2

S-A2-B2

S-A3-B2

这三条路径中,各节点距离加起来对比一下,我们肯定也可以知道其中哪一条是最短的,假设S-A1-B2是最短的,那么我们就知道了经过B2的所有路径当中S-A1-B2是最短的,其它两条路径路径S-A2-B2和S-A3-B1也可以删掉了。经过B2所有路径只剩一条,如下图:

在这里插入图片描述

接下来我们继续看B3:

在这里插入图片描述

同理,如上图,经过B3的路径也有3条:

S-A1-B3

S-A2-B3

S-A3-B3

这三条路径中我们也肯定可以算出其中哪一条是最短的,假设S-A2-B3是最短的,那么我们就知道了经过B3的所有路径当中S-A2-B3是最短的,其它两条路径路径S-A1-B3和S-A3-B3也可以删掉了。经过B3的所有路径只剩一条,如下图:

在这里插入图片描述
现在对于B列的所有节点我们都过了一遍,B列的每个节点我们都删除了一些不可能是答案的路径,看看我们剩下哪些备选的最短路径,如下图:

在这里插入图片描述
上图是我们删掉了其它不可能是最短路径的情况,留下了三个有可能是最短的路径:S-A3-B1、S-A1-B2、S-A2-B3。现在我们将这三条备选的路径放在一起汇总到下图:

在这里插入图片描述
S-A3-B1、S-A1-B2、S-A2-B3都有可能是全局的最短路径的备选路径,我们还没有足够的信息判断哪一条一定是全局最短路径的子路径。

如果我们你认为没毛病就继续往下看C列,如果不理解,回头再看一遍,前面的步骤决定你是否能看懂viterbi算法(维特比算法)。

接下来讲到C列了,类似上面说的B列,我们从C1、C2、C3一个个节点分析。

经过C1节点的路径有:

S-A3-B1-C1、

S-A1-B2-C1、

S-A2-B3-C1

在这里插入图片描述
和B列的做法一样,从这三条路径中找到最短的那条(假定是S-A3-B1-C1),其它两条路径同样道理可以删掉了。那么经过C1的所有路径只剩一条,如下图:

在这里插入图片描述

同理,我们可以找到经过C2和C3节点的最短路径,汇总一下:

在这里插入图片描述
到达C列时最终也只剩3条备选的最短路径,我们仍然没有足够信息断定哪条才是全局最短。

最后,我们继续看E节点,才能得出最后的结论。

到E的路径也只有3种可能性:

在这里插入图片描述
E点已经是终点了,我们稍微对比一下这三条路径的总长度就能知道哪条是最短路径了。

在这里插入图片描述
在效率方面相对于粗暴地遍历所有路径,viterbi 维特比算法到达每一列的时候都会删除不符合最短路径要求的路径,大大降低时间复杂度。

二、维特比算法(Viterbi Algorithm)应用

1、命名实体识别(预测解码)

维特比算法:每个时间步的每个可能状态 T a g i Tag_i Tagi 都保留其来时最优路径

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

def _viterbi_decode(self, features):
    result_best_path = []  # 初始化最佳路径结果的存放列表
    features = features.transpose(1, 0)  # 将输入张量变形为[batch_size, sequence_length, tag_size]
    print("\n\n\n维特比算法---->将batch_size维度调整到最前面---->features.shape = {0}".format(features.shape))
    for seq_idx, feat_line in enumerate(features):  # 对批次中的每一行语句进行遍历, 每个语句产生一个最优标注序列
        print("\n\n", "=" * 50, "维特比算法---->第 {0} 条句子,句子维度:feat_line.shape = {1}".format(seq_idx, feat_line.shape), "=" * 50)
        backpointers = []  # 保存每句的路径
        init_vvars = torch.full((1, self.tag_size), -10000.)  # 初始化前向传播的张量【tensor([[-10000., -10000., -10000., -10000., -10000., -10000., -10000.]])】
        print("维特比算法---->第 {0} 条句子----init_vvars = {1}".format(seq_idx, init_vvars))
        init_vvars[0][self.tag2id[START_TAG]] = 0  # 设置START_TAG等于0, 约束合法序列只能从START_TAG开始(因为0远远大于-10000)【tensor([[-10000., -10000., -10000., -10000., -10000.,      0., -10000.]])】
        print("维特比算法---->第 {0} 条句子----设置START_TAG等于0---->init_vvars = {1}".format(seq_idx, init_vvars))
        forward_var = init_vvars  # 在第i个time_step, 张量forward_var保存第i-1个time_step的viterbi变量
        print("维特比算法---->第 {0} 条句子----初始化:forward_var = {1}".format(seq_idx, forward_var))
        # ------------------------------- 解码一句文本:开始 -------------------------------
        for word_index, feat in enumerate(feat_line):  # 依次遍历i=0, 到序列最后的每一个time_step
            backpointers_of_this_word = []  # 保存当前time_step(汉字或符号)的回溯指针【保存tag的下标】
            viterbivars_of_this_word = []  # 保存当前time_step(汉字或符号)的viterbi变量
            print("\t维特比算法---->第 {0} 条句子----第 {1} 个词:\n".format(seq_idx, word_index))
            for next_tag_idx in range(self.tag_size):
                trans_score = self.transitions[next_tag_idx].view(1, -1)  # 第i个time_step循环时, 转移到next_tag_idx标签的转移概率【torch.Size([1, 7])】
                # next_tag_var[i]保存了tag_i 在前一个time_step的viterbi变量【前向传播张量forward_var加上从tag_i转移到next_tag的分数, 赋值给next_tag_var】
                next_tag_var = forward_var + trans_score  # 注意此处没有加发射矩阵分数, 因为求最大值不需要发射矩阵
                # 将最大的标签id加入到当前time_step的回溯列表中
                best_tag_id = argmax(next_tag_var)
                print("\n\t\t\t维特比算法---->第 {0} 条句子----第 {1} 个词----next_tag_idx = {2}----forward_var = {3}----trans_score = {4}----next_tag_var = {5}----best_tag_id = {6}".format(seq_idx, word_index, next_tag_idx, forward_var, trans_score, next_tag_var, best_tag_id))
                backpointers_of_this_word.append(best_tag_id)
                viterbivars_of_this_word.append(next_tag_var[0][best_tag_id].view(1))
            print("\t维特比算法---->第 {0} 条句子----第 {1} 个词----backpointers_of_this_word = {2}".format(seq_idx, word_index, backpointers_of_this_word))
            print("\t维特比算法---->第 {0} 条句子----第 {1} 个词----viterbivars_of_this_word = {2}".format(seq_idx, word_index, viterbivars_of_this_word))
            forward_var = (torch.cat(viterbivars_of_this_word) + feat).view(1, -1)  # 此处再将发射矩阵分数feat加上, 赋值给forward_var, 作为下一个time_step(词汇/字符)的前向传播张量
            print("\t维特比算法---->第 {0} 条句子----第 {1} 个词----最终:forward_var = {2}".format(seq_idx, word_index, forward_var))
            backpointers.append(backpointers_of_this_word)  # 当前time_step的回溯指针添加进当前这一行样本的总体回溯指针中
        print("维特比算法---->第 {0} 条句子----最终:len(backpointers) = {1}---backpointers = {2}".format(seq_idx, len(backpointers), backpointers))
        terminal_var = forward_var + self.transitions[self.tag2id[STOP_TAG]]  # 最后加上转移到STOP_TAG的分数
        print("维特比算法---->第 {0} 条句子----最终:terminal_var = {1}".format(seq_idx, terminal_var))
        best_tag_id = argmax(terminal_var)
        path_score = terminal_var[0][best_tag_id]  # path_score是整个路径的总得分
        print("维特比算法---->第 {0} 条句子----最终:path_score = {1}".format(seq_idx, path_score))
        # 根据回溯指针, 利用维特比算法解码最佳路径
        best_path = [best_tag_id]  # 首先把最后一步的id值加入
        for backpointers_of_this_word in reversed(backpointers):  # 从后向前回溯最佳路径
            # 通过第i个time_step得到的最佳id, 找到第i-1个time_step的最佳id
            best_tag_id = backpointers_of_this_word[best_tag_id]
            best_path.append(best_tag_id)
        start = best_path.pop()  # 将START_TAG删除
        assert start == self.tag2id[START_TAG]  # 确认一下最佳路径中的第一个标签是START_TAG
        best_path.reverse()  # 因为是从后向前回溯, 所以再次逆序得到总前向后的真实路径
        print("维特比算法---->第 {0} 条句子----最终:best_path = {1}".format(seq_idx, best_path))
        # ------------------------------- 解码一句文本:结束 -------------------------------
        result_best_path.append(best_path)  # 当前这一行的样本结果添加到最终的结果列表里
    print("\n\n", "=" * 10, "所有句子的最终得分列表:result_best_path = {0}".format(result_best_path))
    return result_best_path

2、分词

维特比算法(Viterbi Algorithm)本质上还是动态规划(Dynamic Programming)

例子:“经常有意见分歧”

我们仍然是有以下几个数据:

词典:["经常","有","意见","意","见","有意见","分歧","分","歧"]
概率P(x):{"经常":0.08,"有":0.04,"意见":0.08,"意":0.01,"见":0.005,"有意见":0.002,"分歧":0.04,"分":0.02, "歧":0.005}
-ln(P(x)):{"经常":2.52,"有":3.21,"意见":2.52,"意":4.6,"见":5.29,"有意见":6.21,"分歧":3.21,"分":3.9, "歧":5.29}

如果某个词不在字典中,我们将认为其 − l n [ P ( x ) ] −ln[P(x)] ln[P(x)] 值为20。

我们构建以下的DAG(有向图),每一个边代表一个词,我们将 − l n [ P ( x ) ] -ln[P(x)] ln[P(x)]的值标到边上,
在这里插入图片描述

− l n [ P ( x ) ] −ln[P(x)] ln[P(x)] 的最小值问题,就转变为求最短路径的问题。

由图可以看出,路径 0—>②—>③—>⑤—>⑦ 所求的值最小,所以其就是最优结果:经常 / 有 / 意见 / 分歧

那么我们应该怎样快速计算出来这个结果呢?

逆向分析:

  • 我们设 f ( n ) f(n) f(n) 代表从起点 0 0 0 到结点 n n n 的最短路径的值,所以我们想求的就是 f ( 7 ) f(7) f(7),从DAG图中可以看到,到结点⑦有2条路径:

    • 从结点⑤—>结点⑦: f ( 7 ) = f ( 5 ) + 3.21 f(7)=f(5)+3.21 f(7)=f(5)+3.21
    • 从结点⑥—>结点⑦: f ( 7 ) = f ( 6 ) + 5.29 f(7)=f(6)+5.29 f(7)=f(6)+5.29
  • 我们应该从2条路径中选择路径短的。

  • 在上面的第1条路径中, f ( 5 ) f(5) f(5) 还是未知的,我们要 f ( 5 ) f(5) f(5),同理我们发现到结点⑤的路径有3条路径:

    • 从结点②—>结点⑤: f ( 5 ) = f ( 2 ) + 6.21 f(5)=f(2)+6.21 f(5)=f(2)+6.21
    • 从结点③—>结点⑤: f ( 5 ) = f ( 3 ) + 2.52 f(5)=f(3)+2.52 f(5)=f(3)+2.52
    • 从结点④—>结点⑤: f ( 5 ) = f ( 4 ) + 20 f(5)=f(4)+20 f(5)=f(4)+20
  • 我们同样从3条路径中选择路径短的。以此类推,直到结点0,所有的路径值都可以算出来。

正向分析:和篱笆网络思想一致:每个节点( N o d e i Node_i Nodei)都只保留到达该节点 N o d e i Node_i Nodei 的所有路径中最短的那条路径(维特比算法:每个节点 N o d e i Node_i Nodei 都保留其来时最优路径):

  • 到达 N o d e 1 Node_1 Node1 的路径有1条:
    • 0->①, s c o r e = 20 score=20 score=20,保留;
  • 到达 N o d e 2 Node_2 Node2 的路径有2条:
    • ①->②, s c o r e = 20 + 20 = 40 score=20+20=40 score=20+20=40,删除;
    • 0->②, s c o r e = 2.52 score=2.52 score=2.52,保留;
  • 到达 N o d e 3 Node_3 Node3 的路径有1条:
    • ②->③, s c o r e = 2.52 + 3.21 = 5.73 score=2.52+3.21=5.73 score=2.52+3.21=5.73,保留;
  • 到达 N o d e 4 Node_4 Node4 的路径有1条:
    • ③->④, s c o r e = 5.73 + 20 = 25.73 score=5.73+20=25.73 score=5.73+20=25.73,保留;
  • 到达 N o d e 5 Node_5 Node5 的路径有3条:
    • ②->⑤, s c o r e = 2.52 + 6.21 = 8.73 score=2.52+6.21=8.73 score=2.52+6.21=8.73,删除;
    • ③->⑤, s c o r e = 5.73 + 2.52 = 8.25 score=5.73+2.52=8.25 score=5.73+2.52=8.25,保留;
    • ④->⑤, s c o r e = 25.73 + 20 = 45.73 score=25.73+20=45.73 score=25.73+20=45.73,删除;
  • 到达 N o d e 6 Node_6 Node6 的路径有1条:
    • ⑤->⑥, s c o r e = 8.25 + 3.9 = 12.15 score=8.25+3.9=12.15 score=8.25+3.9=12.15,保留;
  • 到达 N o d e 7 Node_7 Node7 的路径有2条:
    • ⑤->⑦, s c o r e = 8.25 + 3.21 = 11.46 score=8.25+3.21=11.46 score=8.25+3.21=11.46,保留;
    • ⑥->⑦, s c o r e = 12.15 + 5.29 = 17.44 score=12.15+5.29=17.44 score=12.15+5.29=17.44,删除;

我们维护一个列表来表示 f ( n ) f(n) f(n) 的各值:

结点1234567
f(n)202.525.7325.738.2512.1511.46
结点的上一个结点00

第2行代表从起点0到该结点的最短路径的值,第3行代表在最短路径中的该节点的上一个结点。

通过表,我们可以找到结点⑦的上一个结点⑤,结点⑤的上一个结点③,结点③的上一个结点②,结点②的上一个结点0,即路径:0—>②—>③—>⑤—>⑦

# -*- coding: utf-8 -*-
import math
import collections


# 维特比算法(viterbi)
def word_segmentation(text):
    ####################################################################################################################################################################
    word_dictionaries = ["经常", "有", "意见", "意", "见", "有意见", "分歧", "分", "歧"]
    probability = {"经常": 0.08, "有": 0.04, "意见": 0.08, "意": 0.01, "见": 0.005, "有意见": 0.002, "分歧": 0.04, "分": 0.02, "歧": 0.005}
    probability_ln = {key: -math.log(probability[key]) for key in probability}
    # probability_ln = {'经常': 2.5257286443082556, '有': 3.2188758248682006, '意见': 2.5257286443082556, '意': 4.605170185988091, '见': 5.298317366548036, '有意见': 6.214608098422191, '分歧': 3.2188758248682006, '分': 3.912023005428146, '歧': 5.298317366548036}
    print("probability_ln = {0}".format(probability_ln))
    # 构造图的代码并没有实现,以下只是手工建立的图【如果某个词不在字典中,我们将认为其 −ln[P(x)] 值为20。】,为了说明 维特比算法
    ####################################################################################################################################################################
    # 有向五环图,存储的格式:key是结点名,value是一个结点的所有上一个结点(以及边上的权重)
    graph = {
        0: {0: (0, "")},
        1: {0: (20, "经")},
        2: {0: (2.52, "经常"), 1: (20, "常")},
        3: {2: (3.21, "有")},
        4: {3: (20, "意")},
        5: {2: (6.21, "有意见"), 3: (2.52, "意见"), 4: (5.30, "见")},
        6: {5: (3.9, "分")},
        7: {5: (3.21, "分歧"), 6: (5.29, "歧")}
    }
    # =====================================================================利用“维特比算法”构建各个节点的最优路径:开始=====================================================================
    print("#"*50, "利用“维特比算法”构建各个节点的最优路径:开始", "#"*50)
    f = collections.OrderedDict()  # 保存结点n的f(n)以及实现f(n)的上一个结点【f(n):代表从起点 0 到结点 n 的最短路径的值】
    for key, value in graph.items():  # 遍历有向图graph中的所有节点
        print("\nkey = {0}----value = {1}".format(key, value))
        tuple_temp_list = []
        for pre_node_key, pre_node_value in value.items():  # 遍历当前节点的所有上一个节点【pre_node_key:上一个节点的节点号,pre_node_value:本节点距离上一个节点的距离】
            # print("本节点的节点号:key = {0}----上一个节点的节点号:pre_node_key = {1}----本节点距离上一个节点的距离:pre_node_value = {2}".format(key, pre_node_key, pre_node_value))
            distance_from_0 = 0
            if pre_node_key not in f:  # 当遍历到0节点时,该节点的上一个结点还没有计算f(n);
                distance_from_0 = pre_node_value[0]  # 0节点的上一节点(依旧时0节点)的距离
            else:  # 当遍历到0节点之后的节点
                distance_from_0 = pre_node_value[0] + f[pre_node_key][0]  # pre_node_value[0]:当前节点距离上一节点的距离;f[pre_node_key][0]:当前节点的上一节点“pre_node_key”距离0节点的最短距离
                print("本节点的节点号:key = {0}----本节点可触及的上一节点号:pre_node_key = {1}----本节点距离上一个节点“节点{1}”的距离:pre_node_value = {2}----上一节点“节点{1}”距离0节点的最短距离:f[pre_node_key][0] = {3}----本节点路径上一节点“节点{1}”距离0节点的距离:distance_from_0 = {4}".format(key, pre_node_key, pre_node_value, f[pre_node_key][0], distance_from_0))
            tuple_temp = (distance_from_0, pre_node_key)  # 【pre_node_value[0]:本节点距离0节点的最短距离;pre_node_key:本节点实现距离0节点距离最短时的上一个节点的节点号】
            tuple_temp_list.append(tuple_temp)
        min_temp = min(tuple_temp_list)  # 比较比较当前节点路径所触及的所有上一节点到达0节点的距离,得出当前节点 key 距离0节点的最短距离
        # min_temp = min((pre_node_value[0], pre_node_key) if pre_node_key not in f else (pre_node_value[0] + f[pre_node_key][0], pre_node_key) for pre_node_key, pre_node_value in value.items())  # 高阶写法
        print("本节点的节点号:key = {0}----当前节点路径所触及的所有上一节点到达0节点的距离:tuple_temp_list = {1}----当前节点 key 距离0节点的最短距离:min_temp = {2}".format(key, tuple_temp_list, min_temp))
        f[key] = min_temp
        print("将当前节点{0}距离0节点的(最短距离,路径的节点号)= ({0},{1}) 加入f---->f = {2}".format(key, min_temp, f))  # f = OrderedDict([(0, (0, 0)), (1, (20, 0)), (2, (2.52, 0)), (3, (5.73, 2)), (4, (25.73, 3)), (5, (8.25, 3)), (6, (12.15, 5)), (7, (11.46, 5))])
    print("#" * 50, "利用“维特比算法”构建各个节点的最优路径:结束", "#" * 50)
    # =====================================================================利用“维特比算法”构建各个节点的最优路径:结束=====================================================================

    # =====================================================================提取最优最优路径:开始=====================================================================
    print("\n", "#" * 50, "提取最优路径:开始", "#" * 50)
    last = next(reversed(f))  # 最后一个结点7
    first = next(iter(f))  # 第一个结点0
    path_result = [last, ]  # 保存路径,最后一个结点先添入
    pre_last = f[last]  # 最后一个结点的所有前一个结点
    print("最后一个结点7:last = {0}----第一个结点0:first = {1}----初始化最优路径:path_result = {2}----最后一个结点的所有前一个结点:pre_last = {3}".format(last, first, path_result, pre_last))

    while pre_last[1] is not first:  # 没到达第一个结点就一直循环,查找上一个节点的上一个节点号
        path_result.append(pre_last[1])  # 加入一个路径结点X
        pre_last = f[pre_last[1]]  # 定位到路径结点X的上一个结点
    path_result.append(first)  # 第一个结点添入
    print("最优路径:path_result = {0}".format(path_result))  # 结果:[7, 5, 3, 2, 0]
    print("#" * 50, "提取最优路径:结束", "#" * 50)
    # =====================================================================提取最优最优路径:结束=====================================================================

    # =====================================================================通过最优路径得到分词结果:开始=====================================================================
    print("\n", "#" * 50, "通过最优路径得到分词结果:开始", "#" * 50)
    text_result = []
    for index, num in enumerate(path_result):  # 找到路径上边的词
        if index + 1 == len(path_result):
            break
        word = graph[num][path_result[index + 1]][1]
        print("最优路径:path_result = {0}----index = {1}----当前节点号:num = {2}----在最优路径里,当前节点号的上一个节点号:path_result[index + 1] = {3}----当前节点号{2}与上一节点号{3}之间的词汇:{4}".format(path_result, index, num, path_result[index + 1], word))
        text_result.append(word)
    print("text_result = {0}".format(text_result))
    text_result.reverse()  # 翻转一下
    print("翻转后:text_result = {0}".format(text_result))
    print("#" * 50, "通过最优路径得到分词结果:结束", "#" * 50)
    return "".join(word + "/" for word in text_result)
    # =====================================================================通过最优路径得到分词结果:结束=====================================================================


if __name__ == '__main__':
    content = "经常有意见分歧"
    word_segmentation_result = word_segmentation(content)
    print("word_segmentation_result:", word_segmentation_result)

打印结果:

probability_ln = {'经常': 2.5257286443082556, '有': 3.2188758248682006, '意见': 2.5257286443082556, '意': 4.605170185988091, '见': 5.298317366548036, '有意见': 6.214608098422191, '分歧': 3.2188758248682006, '分': 3.912023005428146, '歧': 5.298317366548036}
################################################## 利用“维特比算法”构建各个节点的最优路径:开始 ##################################################
key = 0----value = {0: (0, '')}
本节点的节点号:key = 0----当前节点路径所触及的所有上一节点到达0节点的距离:tuple_temp_list = [(0, 0)]----当前节点 key 距离0节点的最短距离:min_temp = (0, 0)
将当前节点0距离0节点的(最短距离,路径的节点号)= (0,(0, 0)) 加入f---->f = OrderedDict([(0, (0, 0))])

key = 1----value = {0: (20, '经')}
本节点的节点号:key = 1----本节点可触及的上一节点号:pre_node_key = 0----本节点距离上一个节点“节点0”的距离:pre_node_value = (20, '经')----上一节点“节点0”距离0节点的最短距离:f[pre_node_key][0] = 0----本节点路径上一节点“节点0”距离0节点的距离:distance_from_0 = 20
本节点的节点号:key = 1----当前节点路径所触及的所有上一节点到达0节点的距离:tuple_temp_list = [(20, 0)]----当前节点 key 距离0节点的最短距离:min_temp = (20, 0)
将当前节点1距离0节点的(最短距离,路径的节点号)= (1,(20, 0)) 加入f---->f = OrderedDict([(0, (0, 0)), (1, (20, 0))])

key = 2----value = {0: (2.52, '经常'), 1: (20, '常')}
本节点的节点号:key = 2----本节点可触及的上一节点号:pre_node_key = 0----本节点距离上一个节点“节点0”的距离:pre_node_value = (2.52, '经常')----上一节点“节点0”距离0节点的最短距离:f[pre_node_key][0] = 0----本节点路径上一节点“节点0”距离0节点的距离:distance_from_0 = 2.52
本节点的节点号:key = 2----本节点可触及的上一节点号:pre_node_key = 1----本节点距离上一个节点“节点1”的距离:pre_node_value = (20, '常')----上一节点“节点1”距离0节点的最短距离:f[pre_node_key][0] = 20----本节点路径上一节点“节点1”距离0节点的距离:distance_from_0 = 40
本节点的节点号:key = 2----当前节点路径所触及的所有上一节点到达0节点的距离:tuple_temp_list = [(2.52, 0), (40, 1)]----当前节点 key 距离0节点的最短距离:min_temp = (2.52, 0)
将当前节点2距离0节点的(最短距离,路径的节点号)= (2,(2.52, 0)) 加入f---->f = OrderedDict([(0, (0, 0)), (1, (20, 0)), (2, (2.52, 0))])

key = 3----value = {2: (3.21, '有')}
本节点的节点号:key = 3----本节点可触及的上一节点号:pre_node_key = 2----本节点距离上一个节点“节点2”的距离:pre_node_value = (3.21, '有')----上一节点“节点2”距离0节点的最短距离:f[pre_node_key][0] = 2.52----本节点路径上一节点“节点2”距离0节点的距离:distance_from_0 = 5.73
本节点的节点号:key = 3----当前节点路径所触及的所有上一节点到达0节点的距离:tuple_temp_list = [(5.73, 2)]----当前节点 key 距离0节点的最短距离:min_temp = (5.73, 2)
将当前节点3距离0节点的(最短距离,路径的节点号)= (3,(5.73, 2)) 加入f---->f = OrderedDict([(0, (0, 0)), (1, (20, 0)), (2, (2.52, 0)), (3, (5.73, 2))])

key = 4----value = {3: (20, '意')}
本节点的节点号:key = 4----本节点可触及的上一节点号:pre_node_key = 3----本节点距离上一个节点“节点3”的距离:pre_node_value = (20, '意')----上一节点“节点3”距离0节点的最短距离:f[pre_node_key][0] = 5.73----本节点路径上一节点“节点3”距离0节点的距离:distance_from_0 = 25.73
本节点的节点号:key = 4----当前节点路径所触及的所有上一节点到达0节点的距离:tuple_temp_list = [(25.73, 3)]----当前节点 key 距离0节点的最短距离:min_temp = (25.73, 3)
将当前节点4距离0节点的(最短距离,路径的节点号)= (4,(25.73, 3)) 加入f---->f = OrderedDict([(0, (0, 0)), (1, (20, 0)), (2, (2.52, 0)), (3, (5.73, 2)), (4, (25.73, 3))])

key = 5----value = {2: (6.21, '有意见'), 3: (2.52, '意见'), 4: (5.3, '见')}
本节点的节点号:key = 5----本节点可触及的上一节点号:pre_node_key = 2----本节点距离上一个节点“节点2”的距离:pre_node_value = (6.21, '有意见')----上一节点“节点2”距离0节点的最短距离:f[pre_node_key][0] = 2.52----本节点路径上一节点“节点2”距离0节点的距离:distance_from_0 = 8.73
本节点的节点号:key = 5----本节点可触及的上一节点号:pre_node_key = 3----本节点距离上一个节点“节点3”的距离:pre_node_value = (2.52, '意见')----上一节点“节点3”距离0节点的最短距离:f[pre_node_key][0] = 5.73----本节点路径上一节点“节点3”距离0节点的距离:distance_from_0 = 8.25
本节点的节点号:key = 5----本节点可触及的上一节点号:pre_node_key = 4----本节点距离上一个节点“节点4”的距离:pre_node_value = (5.3, '见')----上一节点“节点4”距离0节点的最短距离:f[pre_node_key][0] = 25.73----本节点路径上一节点“节点4”距离0节点的距离:distance_from_0 = 31.03
本节点的节点号:key = 5----当前节点路径所触及的所有上一节点到达0节点的距离:tuple_temp_list = [(8.73, 2), (8.25, 3), (31.03, 4)]----当前节点 key 距离0节点的最短距离:min_temp = (8.25, 3)
将当前节点5距离0节点的(最短距离,路径的节点号)= (5,(8.25, 3)) 加入f---->f = OrderedDict([(0, (0, 0)), (1, (20, 0)), (2, (2.52, 0)), (3, (5.73, 2)), (4, (25.73, 3)), (5, (8.25, 3))])

key = 6----value = {5: (3.9, '分')}
本节点的节点号:key = 6----本节点可触及的上一节点号:pre_node_key = 5----本节点距离上一个节点“节点5”的距离:pre_node_value = (3.9, '分')----上一节点“节点5”距离0节点的最短距离:f[pre_node_key][0] = 8.25----本节点路径上一节点“节点5”距离0节点的距离:distance_from_0 = 12.15
本节点的节点号:key = 6----当前节点路径所触及的所有上一节点到达0节点的距离:tuple_temp_list = [(12.15, 5)]----当前节点 key 距离0节点的最短距离:min_temp = (12.15, 5)
将当前节点6距离0节点的(最短距离,路径的节点号)= (6,(12.15, 5)) 加入f---->f = OrderedDict([(0, (0, 0)), (1, (20, 0)), (2, (2.52, 0)), (3, (5.73, 2)), (4, (25.73, 3)), (5, (8.25, 3)), (6, (12.15, 5))])

key = 7----value = {5: (3.21, '分歧'), 6: (5.29, '歧')}
本节点的节点号:key = 7----本节点可触及的上一节点号:pre_node_key = 5----本节点距离上一个节点“节点5”的距离:pre_node_value = (3.21, '分歧')----上一节点“节点5”距离0节点的最短距离:f[pre_node_key][0] = 8.25----本节点路径上一节点“节点5”距离0节点的距离:distance_from_0 = 11.46
本节点的节点号:key = 7----本节点可触及的上一节点号:pre_node_key = 6----本节点距离上一个节点“节点6”的距离:pre_node_value = (5.29, '歧')----上一节点“节点6”距离0节点的最短距离:f[pre_node_key][0] = 12.15----本节点路径上一节点“节点6”距离0节点的距离:distance_from_0 = 17.44
本节点的节点号:key = 7----当前节点路径所触及的所有上一节点到达0节点的距离:tuple_temp_list = [(11.46, 5), (17.44, 6)]----当前节点 key 距离0节点的最短距离:min_temp = (11.46, 5)
将当前节点7距离0节点的(最短距离,路径的节点号)= (7,(11.46, 5)) 加入f---->f = OrderedDict([(0, (0, 0)), (1, (20, 0)), (2, (2.52, 0)), (3, (5.73, 2)), (4, (25.73, 3)), (5, (8.25, 3)), (6, (12.15, 5)), (7, (11.46, 5))])
################################################## 利用“维特比算法”构建各个节点的最优路径:结束 ##################################################

 ################################################## 提取最优路径:开始 ##################################################
最后一个结点7:last = 7----第一个结点0:first = 0----初始化最优路径:path_result = [7]----最后一个结点的所有前一个结点:pre_last = (11.46, 5)
最优路径:path_result = [7, 5, 3, 2, 0]
################################################## 提取最优路径:结束 ##################################################

 ################################################## 通过最优路径得到分词结果:开始 ##################################################
最优路径:path_result = [7, 5, 3, 2, 0]----index = 0----当前节点号:num = 7----在最优路径里,当前节点号的上一个节点号:path_result[index + 1] = 5----当前节点号7与上一节点号5之间的词汇:分歧
最优路径:path_result = [7, 5, 3, 2, 0]----index = 1----当前节点号:num = 5----在最优路径里,当前节点号的上一个节点号:path_result[index + 1] = 3----当前节点号5与上一节点号3之间的词汇:意见
最优路径:path_result = [7, 5, 3, 2, 0]----index = 2----当前节点号:num = 3----在最优路径里,当前节点号的上一个节点号:path_result[index + 1] = 2----当前节点号3与上一节点号2之间的词汇:有
最优路径:path_result = [7, 5, 3, 2, 0]----index = 3----当前节点号:num = 2----在最优路径里,当前节点号的上一个节点号:path_result[index + 1] = 0----当前节点号2与上一节点号0之间的词汇:经常
text_result = ['分歧', '意见', '有', '经常']
翻转后:text_result = ['经常', '有', '意见', '分歧']
################################################## 通过最优路径得到分词结果:结束 ##################################################
word_segmentation_result: 经常//意见/分歧/

Process finished with exit code 0



参考资料:
[L2]seq2seq中Beam search~贪心与维特比
维特比算法 实现中文分词 python实现
HMM+Viterbi(维特比算法)+最短路径分析
Dynamic Programming – Edit Distance Problem
Dynamic Programming Practice Problems
什么是动态规划(Dynamic Programming)?动态规划的意义是什么?
漫画:什么是动态规划?(整合版)
如何通俗地讲解 viterbi 算法?
小白给小白详解维特比算法(一)
编辑距离 计算
使用编辑距离计算文本相似度
最小编辑距离(Levenshtein)的 Python 实现
编辑距离算法详解:Levenshtein Distance算法
一个快速、高效的Levenshtein算法实现
使用优化的Levenshtein算法查找最接近的邻居

  • 1
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
以下是MATLAB实现的Viterbi算法译码代码: ```matlab function [decoded_bits] = viterbi_decode(received_bits, trellis) % received_bits: 接收到的码字 % trellis: 分组卷积码的状态转移矩阵 num_states = size(trellis.nextStates, 1); % 状态数 num_inputs = size(trellis.outputs, 2); % 输入数 % 初始化变量 survivor_paths = zeros(num_states, length(received_bits)); survivor_metrics = Inf(num_states, 1); survivor_metrics(1) = 0; % 逐个处理接收到的码元 for i = 1:length(received_bits) input = received_bits(i) + 1; % 码元作为输入,加1为了将0/1转换为1/2 for j = 1:num_states prev_states = trellis.nextStates(j, :); % 所有前一状态 prev_metrics = survivor_metrics(prev_states); % 所有前一状态的路径度量 branch_metrics = trellis.outputs(j, input); % 转移分支度量 path_metrics = prev_metrics + branch_metrics; % 路径度量 [min_metric, min_state] = min(path_metrics); % 最小度量和对应的前一状态 survivor_paths(j, 1:i-1) = survivor_paths(prev_states(min_state), 1:i-1); % 拷贝最优路径 survivor_paths(j, i) = j-1; % 记录当前状态 survivor_metrics(j) = min_metric; % 更新路径度量 end end % 回溯找到最优路径 final_metric = survivor_metrics(1); final_state = 1; for i = 2:num_states if survivor_metrics(i) < final_metric final_metric = survivor_metrics(i); final_state = i; end end decoded_bits = zeros(1, length(received_bits)/2); for i = length(received_bits)/2:-1:1 decoded_bits(i) = trellis.outputs(final_state, received_bits(2*i-1:2*i)+1) == 2; final_state = survivor_paths(final_state, i); end ``` 其中,`trellis`是分组卷积码的状态转移矩阵,可以通过MATLAB自带的`poly2trellis`函数生成。`received_bits`是接收到的码字,根据码率不同,它的长度也不同。`decoded_bits`是解码后得到的比特流,它的长度为接收到的码字长度的一半。 使用示例: ```matlab % 生成分组卷积码的状态转移矩阵 constraint_length = 7; % 约束长度 code_rate = 1/2; % 码率 poly = [171 133]; % 生成多项式 trellis = poly2trellis(constraint_length, poly); % 生成随机比特流作为发送端的码字 tx_bits = randi([0 1], 1, 1000); % 编码得到码字 enc_bits = convenc(tx_bits, trellis); % 模拟信道传输,加入高斯白噪声 snr = 10; % 信噪比 rx_bits = awgn(enc_bits, snr, 'measured'); % 解码得到比特流 decoded_bits = viterbi_decode(rx_bits, trellis); % 计算误比特率 num_errors = sum(abs(decoded_bits - tx_bits)); ber = num_errors / length(tx_bits); fprintf('SNR=%d dB, BER=%e\n', snr, ber); ```

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值