JavaEye曾经报道过ruby的中文分词程序:rmmseg-cpp 这个项目。rmmseg-cpp实际上是用C++来编写的分词,只在最外层和ruby进行了粘合。
现在作者pluskid(张驰原)在rmmseg-cpp的基础上提供了Python的代码封装,可以用在Python项目当中进行中文分词,用法示例如下:
- from pymmseg import mmseg
- mmseg.dict_load_defaults()
- text = # ...
- algor = mmseg.Algorithm(text)
- for tok in algor:
- print '%s [%d..%d]' % (tok.text, tok.start, tok.end)
from pymmseg import mmseg
mmseg.dict_load_defaults()
text = # ...
algor = mmseg.Algorithm(text)
for tok in algor:
print '%s [%d..%d]' % (tok.text, tok.start, tok.end)
该项目源代码在github上面:http://github.com/pluskid/pymmseg-cpp/
作者对于该项目的介绍请看:http://pluskid.lifegoo.com/?p=431