NLP 正向、逆向 分词

本文介绍了最大匹配法在中文分词中的正向和逆向策略,通过示例详细解析了两种方法的工作原理,并提供了Python代码实现。正向最大匹配从前往后取词,逆向则从后往前。最后,文章提到了正确率、召回率和F值作为评价标准,并给出了评估程序的实现。
摘要由CSDN通过智能技术生成

最大匹配法:最大匹配是指以词典为依据,取词典中最长单词为第一个次取字数量的扫描串,在词典中进行扫描(为提升扫描效率,还可以跟据字数多少设计多个字典,然后根据字数分别从不同字典中进行扫描)。例如:词典中最长词为“中华人民共和国”共7个汉字,则最大匹配起始字数为7个汉字。然后逐字递减,在对应的词典中进行查找。

下面以“我们在野生动物园玩”为例详细说明一下正向与逆向最大匹配方法:

  • 1、正向最大匹配法:

正向即从前往后取词,从7->1,每次减一个字,直到词典命中或剩下1个单字。

第1次:“我们在野生动物”,扫描7字词典,无

第2次:“我们在野生动”,扫描6字词典,无

。。。。

第6次:“我们”,扫描2字词典,有

扫描中止,输出第1个词为“我们”,去除第1个词后开始第2轮扫描,即:

第2轮扫描:

第1次:“在野生动物园玩”,扫描7字词典,无

第2次:“在野生动物园”,扫描6字词典,无

。。。。

第6次:“在野”,扫描2字词典,有

扫描中止,输出第2个词为“在野”,去除第2个词后开始第3轮扫描,即:

第3轮扫描:

第1次:“生动物园玩”,扫描5字词典,无

第2次:“生动物园”,扫描4字词典,无

第3次:“生动物”,扫描3字词典,无

第4次:“生动”,扫描2字词典,有

扫描中止,输出第3个词为“生动”,第4轮扫描,即:

第4轮扫描:

第1次:“物园玩”,扫描3字词典,无

第2次:“物园”,扫描2字词典,无

第3次:“物”,扫描1字词典,无

扫描中止,输出第4个词为“物”,非字典词数加1,开始第5轮扫描,即:

第5轮扫描:

第1次:“园玩”,扫描2字词典,无

第2次:“园”,扫描1字词典,有

扫描中止,输出第5个词为“园”,单字字典词数加1,开始第6轮扫描,即:

第6轮扫描:

第1次:“玩”,扫描1字字典词,有

扫描中止,输出第6个词为“玩”,单字字典词数加1,整体扫描结束。

正向最大匹配法,最终切分结果为:“我们/在野/生动/物/园/玩”

  • 2、正向python代码实现
 1 # -*- coding: utf-8 -*-
 2 """
 3 Created on Thu Jul 19 08:57:56 2018
 4 
 5 @author: Lenovo
 6 """
 7 
 8 test_file = 'train/train.txt'#训练语料
 9 test_file2 = 'test/test.txt'#测试语料
10 test_file3 = 'test_sc/test_sc_zhengxiang.txt'#生成结果
11 
12 def get_dic(test_file): #读取文本返回列表
13     with open(test_file,'r',encoding='utf-8',) as f:
14         try:
15             file_content = f.read().split()
16         finally:
17             f.close()
18     chars = list(set(file_content))
19     return chars
20 
21 dic = get_dic(test_file)           
22 def readfile(test_file2):
23     max_length = 5 
24     
25     h = open(test_file3,'w',encoding='utf-8',) 
26     with open(test_file2,'r',encoding='utf-8',) as f:
27         lines = f.readlines()
28 
29     for line in lines:#分别对每行进行正向最大匹配处理
30         max_length = 5 
31         my_list = []
32         len_hang = len(line)
33         while len_hang>0 :
34             tryWord = line[0:max_length]
35             while tryWord not in dic:
36                 if len(tryWord)==1:
37                     break
38                 tryWord=tryWord[0:len(tryWord)-1]
39             my_list.append(tryWord)
40             line = line[len(tryWord):]
41             len_hang = len(line)
42         
43         for t in my_list:#将分词结果写入生成文件
44             if t == '\n' :
45                 h.write('\n')
46             else:
47                 h.write(t + "  ")
48     
49     h.close()
50         
51 readfile(test_file2)
  • 3、逆向最大匹配算法

逆向即从后往前取词,其他逻辑和正向相同。即:

第1轮扫描:“在野生动物园玩”

第1次:“在野生动物园玩”,扫描7字词典,无

第2次:“野生动物园玩”,扫描6字词典,无

。。。。

第7次:“玩”,扫描1字词典,有

扫描中止,输出“玩”,单字字典词加1,开始第2轮扫描

第2轮扫描:“们在野生动物园”

第1次:“们在野生动物园”,扫描7字词典,无

第2次:“在野生动物园”,扫描6字词典,无

第3次:“野生动物园”,扫描5字词典,有

扫描中止,输出“野生动物园”,开始第3轮扫描

第3轮扫描:“我们在”

第1次:“我们在”,扫描3字词典,无

第2次:“们在”,扫描2字词典,无

第3次:“在”,扫描1字词典,有

扫描中止,输出“在”,单字字典词加1,开始第4轮扫描

第4轮扫描:“我们”

第1次:“我们”,扫描2字词典,有

扫描中止,输出“我们”,整体扫描结束。

逆向最大匹配法,最终切分结果为:“我们/在/野生动物园/玩

  • 4、逆向python代码实现
 1 # -*- coding: utf-8 -*-
 2 """
 3 Created on Thu Jul 19 08:57:56 2018
 4 
 5 @author: Lenovo
 6 """
 7 test_file = 'train/train.txt'
 8 test_file2 = 'test/test.txt'
 9 test_file3 = 'test_sc/test_sc.txt'
10 
11 def get_dic(test_file): 
12     with open(test_file,'r',encoding='utf-8',) as f:
13         try:
14             file_content = f.read().split()
15         finally:
16             f.close()
17     chars = list(set(file_content))
18     return chars
19 
20 dic = get_dic(test_file)           
21 def readfile(test_file2):
22     max_length = 5 
23     
24     h = open(test_file3,'w',encoding='utf-8',) 
25     with open(test_file2,'r',encoding='utf-8',) as f:
26         lines = f.readlines()
27 
28     for line in lines:
29         my_stack = []
30         len_hang = len(line)
31         while len_hang>0 :
32             tryWord = line[-max_length:]
33             while tryWord not in dic:
34                 if len(tryWord)==1:
35                     break
36                 tryWord=tryWord[1:]
37             my_stack.append(tryWord)
38             line = line[0:len(line)-len(tryWord)]
39             len_hang = len(line)
40         
41         while len(my_stack):
42             t = my_stack.pop()
43             if t == '\n' :
44                 h.write('\n')
45             else:
46                 h.write(t + "  ")
47     
48     h.close()
49         
50 readfile(test_file2)
  • 5、正确率,召回率和F值

    正确率、召回率和F值是目标的重要评价指标。 
    正确率 = 正确识别的个体总数 / 识别出的个体总数 
    召回率 = 正确识别的个体总数 / 测试集中存在的个体总数 
    F值 = 正确率 * 召回率 * 2 / (正确率 + 召回率)

编写评价程序:首先对生成的文本和gold文本每行通过切分形成词汇表,然后对两个词汇表从第一个词开始比较:
         如果当前词汇相同,表明结果正确,且之前的词汇拼成的字符串长度相等;
         如果当前词汇不同,结果错误,不断取词汇拼字符串直到两个字符串长度相同;
    依次对每行进行处理,计算出f值。

  评价程序实现如下:

 1 # -*- coding: utf-8 -*-
 2 """
 3 Created on Fri Jul 27 15:32:46 2018
 4 
 5 @author: Lenovo
 6 """
 7 
 8 test_file = 'test_sc/test_sc_zhengxiang.txt'
 9 test_file2 = 'gold/test_gold.txt'
10 def get_word(fname):
11    
12     f = open(fname,'r',encoding='utf-8',) 
13     lines = f.readlines()
14     
15     return lines
16 
17 
18 def calc():
19     lines_list_sc = get_word(test_file)
20     lines_list_gold = get_word(test_file2)
21     
22     lines_list_num = len(lines_list_gold)
23     
24     right_num = 0
25     m = 0#m存逆向结果文本词的总数
26     n = 0#n存gold文本词的总数
27     
28     for i in range(lines_list_num):
29 
30         line_list_sc = list(lines_list_sc[i].split())#line_list_sc为生成结果每行通过空格切分后的词汇表
31         line_list_gold = list(lines_list_gold[i].split())#line_list_gold为正确结果每行通过空格切分后的词汇表
32         
33         m += len(line_list_sc)
34         n += len(line_list_gold)
35 
36         str_sc = ''#存结果文本每行无空格连接起来的字符串
37         str_gold = ''#存gold文本每行无空格连接起来的字符串
38         
39         s = 0#表示结果文本每行列表的下标
40         g = 0#表示gold文本每行列表的下标
41         
42         while s < len(line_list_sc) and g < len(line_list_gold):
43             str_word_sc = line_list_sc[s]
44             str_word_gold = line_list_gold[g]
45             
46             str_sc += str_word_sc
47             str_gold += str_word_gold
48             
49             if str_word_sc == str_word_gold:#如果当前词汇相同,表明结果正确,且之前的词汇拼成的字符串长度相等
50                 s += 1
51                 g += 1
52                 right_num += 1
53             
54             else:#如果当前词汇不同,结果错误,不断取词汇拼字符串直到两个字符串长度相同
55                
56                 while len(str_sc) > len(str_gold):
57                     g += 1
58                     str_gold += line_list_gold[g]
59                    
60              
61                 while len(str_sc) < len(str_gold):
62                     s += 1
63                     str_sc += line_list_sc[s]
64                     
65                 g += 1
66                 s += 1
67                    
68     print("生成结果词的个数:", m)
69     print("gold文本词的个数:", n)              
70     print("正确词的个数:", right_num)
71     p = right_num/m
72     r = right_num/n
73     f = 2*p*r/(p+r)
74     print("正确率:", p)
75     print("召回率:", r)
76     print("正向f值:", f)
77 calc()

运行结果如下:

  • 6、训练语料和测试语料见下百度云盘链接

链接: https://pan.baidu.com/s/1X0coEznut6_s0jsDG9_9Dg 密码: b393

转:
https://www.cnblogs.com/Jm-15/p/9403352.html
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值