正向逆向最大匹配的中文分词

 

 

实验语料：人民日报数据、词典由训练语料生成

          puk_training.txt：训练语料

puk_training_small.txt：训练语料（小）

pku_test.txt : 测试语料

pku_test_gold.txt：参考答案

1、最大匹配法：

最大匹配是指以词典为依据，取词典中最长单词为第一个次取字数量的扫描串，在词典中进行扫描（为提升扫描效率，还可以跟据字数多少设计多个字典，然后根据字数分别从不同字典中进行扫描）。例如：词典中最长词为“中华人民共和国”共7个汉字，则最大匹配起始字数为7个汉字。然后逐字递减，在对应的词典中进行查找。

2、正向和逆向最大匹配法：

正向匹配：从左到右，逐步去掉右部的字进行新一轮匹配。

逆向匹配：从右到左，逐步去掉左部的字进行新一轮匹配。

因为中文比较复杂以及中文的特殊性，逆向最大匹配大多时候往往会比正向要准确。