简易中文分词算法(python)_Python中文分词实现方法(安装pymmseg)

Python中文分词实现方法(安装pymmseg)

发布于 2016-06-25 22:01:40 | 83 次阅读 | 评论: 0 | 来源: 网友投递

MMSeg 中文分词类库MMSEG一个基于最大匹配算法的两种变体的中文单词识别系统。是中文分词中一个常见的、基于词典的分词算法，简单、效果相对较好。由于它的简易直观性，实现起来不是很复杂，运行速度也比较快。

这篇文章主要介绍了Python中文分词实现方法,通过安装pymmseg来实现分词功能,涉及pymmseg的下载、解压、安装及使用技巧,需要的朋友可以参考下

本文实例讲述了Python中文分词实现方法。分享给大家供大家参考，具体如下：

在Python这pymmseg-cpp 还是十分方便的！

环境 ubuntu10.04 , python2.65

步骤:

2 执行：

tar -zxf pymmseg-cpp*.tar.gz //解压后得到pymmseg 目录

cd pymmseg\mmseg-cpp

python build.py #生成 mmseg.so文件

3 将 pymmseg 目录复制到 /usr/local/lib/python2.6/dist-packages 中

4 测试有没有成功:

test.py文件：

from pymmseg import mmseg

mmseg.dict_load_defaults()

text = '今天的天气真好啊，我们一起出去玩一下吧'

algor = mmseg.Algorithm(text)

for tok in algor:

print '%s [%d..%d]' % (tok.text, tok.start, tok.end)

相关阅读:

Python中文分词实现方法(安装pymmseg)