中文分词的python实现-基于FMM算法

正向最大匹配算法（FMM）

正向最大匹配算法（FMM）是一种基于词典的分词方法，思想很简单就是从左向右扫描寻找词的最大匹配，比如词典中同时含有“钓鱼”和“钓鱼岛”，那“钓鱼岛属于中国”就会被分词成“钓鱼岛/属于/中国”

过程

• 限定词的最大长度（例如5）
• 从最大的长度开始在词库中进行匹配，直到匹配成功
• 更新起点的位置继续上一步骤直到全部完成

---

实验

代码

# -*- coding: utf-8 -*-
# 中文正向最大匹配（FMM）分词

import sys
reload(sys)     #动态重新加载sys模块
sys.setdefaultencoding('utf8')


word_dict = ['新华网', '东京', '记者', '吴谷丰',