python 分词工具

在python这pymmseg-cpp 还是十分方便的！



步骤:
1 下载mmseg-cpp的源代码 http://code.google.com/p/pymmseg-cpp/
2 tar -zxf pymmseg-cpp*.tar.gz //解压后得到pymmseg 目录
cd pymmseg\mmseg-cpp
python build.py #生成 mmseg.so文件

3 将 pymmseg 目录复制到 /usr/local/lib/python2.6/dist-packages 中


4 测试有没有成功:
test.py

Python代码 收藏代码
from pymmseg import mmseg
mmseg.dict_load_defaults()
text = '今天的天气真好啊，我们一起出去玩一下吧'
algor = mmseg.Algorithm(text)
for tok in algor:
print '%s [%d..%d]' % (tok.text, tok.start, tok.end)