jieba源代码解析——四种分词模式（三）

2021SC@SDUSC
2021SC@SDUSC
在分词时，构建完前缀词典，并以此为基础，生成了有向无环图DAG，再借此计算最大概率路径。
2021SC@SDUSC
2021SC@SDUSC
但其实在生成DAG时还使用到了一个方法——check_initialized，检查是否初始化，如果没有，则会初始化。

def check_initialized(self):
        if not self.initialized: #如果未初始化进行初始化
            abs_path = _get_abs_path(self.dictionary)
            if self.cache_file:
                cache_file = self.cache_file
            # 默认的cachefile
            elif abs_path:
                cache_file = "jieba.cache"
 
            load_from_cache_fail = True
            # cachefile 存在
            if os.path.isfile(cache_file):
 
                try:
                #打开cachefile
                    with open(cache_file, 'rb') as cf:
                        self.FREQ, self.total = marshal.load(cf)
                    load_from_cache_fail = False
                except Exception:
                    load_from_cache_fail = True
            if load_from_cache_fail:
                self.FREQ, self.total = self.gen_pfdict(abs_path)
                #把dict前缀集合,总词频写入文件
                try:
                    with open(cache_file, 'w') as temp_cache_file:
                        marshal.dump((self.FREQ, self.total), temp_cache_file)
                except Exception:
                    #continue
                    pass
            # 标记初始化成功
            self.initialized = True

接下来分析最大概率路径。

     #动态规划，计算最大概率的切分组合
    def calc(self, sentence, DAG, route):
        N = len(sentence)
        route[N] = (0, 0)
         # 对概率值取对数之后的结果(可以让概率相乘的计算变成对数相加,防止相乘造成下溢)
        logtotal = log(self.total)
        # 从后往前遍历句子 反向计算最大概率
        for idx in xrange(N - 1, -1, -1):
           # 列表推倒求最大概率对数路径
           # route[idx] = max([ (概率对数，词语末字位置) for x in DAG[idx] ])
           # 以idx:(概率对数最大值，词语末字位置)键值对形式保存在route中
           # route[x+1][0] 表示 词路径[x+1,N-1]的最大概率对数,
           # [x+1][0]即表示取句子x+1位置对应元组(概率对数，词语末字位置)的概率对数
            route[idx] = max((log(self.FREQ.get(sentence[idx:x + 1]) or 1) -
                              logtotal + route[x + 1][0], x) for x in DAG[idx])

for循环中，idx为句末往句首倒推。
route为字典，key为idx，value为含有两个元素的元组，元组的第一个元素为：以idx为开头，第二个元素x位置为结尾组成的词语，在词典中成词的概率(取max后结果为x遍历，idx到x，以及x到句尾的分词方式最大概率，也就是idx到句尾的最大概率分词方式)。元组的第二个元素x为DAG[idx]的value遍历。当idx=0时，可得到句首到句尾的最大分词方式。

这里采用从后往前的计算方式，主要原因在于有向无环图是从前指向后，对于一个节点，DAG中存储了此节点指向后面哪些节点，但没有存储前面有哪些节点指向此节点。举个例子：’ABCD’，从后往前计算，我们可以在’C’节点先知道P(‘CD’)，到’A’节点时，就可以比较P(‘ABCD’)与P(‘AB’)*P(‘CD’)的大小了，但如果是从前往后计算就不行，在A节点我们知道P(‘AB’)和P(‘ABCD’)，但是不知道P(‘CD’)，会加大程序的复杂性。