正向最大匹配算法(中文分词)

一、最大匹配法

  最大匹配是指以词典为依据,取词典中最长单词为第一个次取字数量的扫描串,在词典中进行扫描(为提升扫描效率,还可以跟据字数多少设计多个字典,然后根据字数分别从不同字典中进行扫描)。
最大匹配算法有三种:
  1、正向最大匹配
  2、逆向最大匹配
  3、双向匹配
  三种算法原理都一样,以正向为例,是从前向后扫描的过程。

如下:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

二、使用北大训练集实现正向最大匹配

1、数据集(从中选取北大的训练集)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2、代码实现


# -*- coding: utf-8 -*-
"""
@author: Junhui Yu
@Date:2020/08/30
"""

pku_training_words = 'icwb2-data/gold/pku_training_words.txt'
words=["欢迎大家来到文本计算与认知智能实验室"]
def get_dic(pku_training_words): 
    with open(pku_training_words,'r',encoding='gbk',) as f:
        try:
            file_content = f.read().split()
        finally:
            f.close()
    chars = list(set(file_content))
    return chars

dic = get_dic(pku_training_words)

def positive_max_matching():
    max_length = 5
    for word in words:#分别对每行进行正向最大匹配处理
        max_length = 5
        word_list = []
        len_hang = len(word)
        while len_hang>0 :
            tryWord = word[0:max_length]
            while tryWord not in dic:
                if len(tryWord)==1:
                    break
                tryWord=tryWord[0:len(tryWord)-1]
            word_list.append(tryWord)
            word = word[len(tryWord):]
            len_hang = len(word)
    return word_list

contents=positive_max_matching()
seg=""
for s in contents:
    if seg=="":
        seg+=s
    else:
        seg+="/"+s
print(seg)

3、结果

在这里插入图片描述

  • 19
    点赞
  • 89
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值