分词算法:正向最大匹配算法

##正向最大匹配算法
正向最大匹配算法($FMM$)是一种基于词典的分词方法，同样的基于词典的方法还有逆向最大匹配法($RMM$)，$ngram$法.$FMM$故名思意，左向右扫描寻找词的最大匹配，是一种贪心的思想。
##流程

• 限定词的最大长度
• 从最大的长度开始在词库中进行匹配只到匹配成功
• 更新起点的位置继续上一步骤只到全部分完

##实验

词库

东北
林业
大学
学校
东北林业大学
好地方
学校

文本

东北林业大学是好学校
这里是个好地方

Code

#!/usr/bin/python

import sys

Maxlen=6

def max_match(line,dict):
	line=line.decode("utf8")
	word=[]
	i=0
	while i<len(line):
		match = False
		for id in xrange(Maxlen, 0, -1):
			tmp=line[i:i+id].encode("utf8")
			for var in dict:
				if tmp in var:
					word.append(tmp)
					i+=id
					match=True
					break
			if match:
				break
		if not match:
			word.append(line[i].encode("utf8"))
			i+=1
	return word		
	
if __name__ == "__main__":
	words=open(sys.argv[1])
	dict = open(sys.argv[2], "r")
	out=open("./out.txt","w")
	List = list(dict)
	try:
		for line in words:
			out.write(" ".join(max_match(line.strip(),List)))
			out.write("\n")
	finally:
		out.close()
		words.close()
		dict.close()

实验结果

东北林业大学 是 好 学校
这 里 是 个 好地方

更多信息/快速联系博主