python3 中文分词正向反向最大匹配与HMM 分词

最新推荐文章于 2022-04-15 14:28:19 发布

置顶

地主家的小兵将

最新推荐文章于 2022-04-15 14:28:19 发布

阅读量938

点赞数 1

分类专栏： python 文章标签：中文分词 HMM 正向匹配反向匹配规则分词

本文链接：https://blog.csdn.net/bingheshidai_1234/article/details/93590096

版权

该博客介绍了如何在Python3中使用正向和反向最大匹配算法以及HMM进行中文分词。作者强调在实际应用中，可以先用词库进行初步分词，再借助HMM优化结果。文中提到HMM模型依赖于状态转移、发射概率和初始概率，并指出在某些场景下，CRF也可以作为替代方案。

摘要由CSDN通过智能技术生成

数据所需数据集：https://pan.baidu.com/s/15EKb378-ds_5FNF9614Q1g 提取码：ebkd

代码如图

#反向匹配
class LMM():
    def __init__(self, dic_path):
        self.dictionary = set()
        self.maximum = 0
        # 读取词典
        with open(dic_path, 'r', encoding='utf8') as f:
            for line in f:
                line = line.strip()
                if not line:
                    continue
                self.dictionary.add(line)
                if len(line) > self.maximum:
                    self.maximum = len(line)

    def cut(self, text):
        result = []
        index = len(text)
        while index > 0:
            word = None
            for size in range(self.maximum, 0, -1):
                if index - size < 0:
                    continue
                piece = text[(index - size):index]
                if piece in self.dictionary:
                    word = piece
                    result.append(word)
                    index =index-size
                    break
            if word is None:
                index -= 1
        return result[::-1]
#正向匹配
class RMM():
    def __init__(self, dic_path):
        self.dictionary = set()
        self.maximum = 0
        # 读取词典
        with open(dic_path, 'r', encoding='utf8') as f:
            for line in f:
                line = line.strip()
                if not line:
                    continue
                self.dictionary.add(line)
                if len(line) > self.maximum:
                    self.maximum = len(line)

    def cut(self, text):
        result = []
        index = len(text)
        while index > 0:
            word = None
            for size in range(0,self.maximum):