基于 Python 的中文分词方案那种比较好？jieba_fast

转载：https://www.zhihu.com/question/20294818/answer/280918825

可以试试jieba_fast, 我觉得python jieba太慢，使用 c 重写了jieba分词库中的核心函数，速度得到大幅提升。

特点

对两种分词模式进行的加速：精确模式，搜索引擎模式
利用cpython重新实现了 viterbi 算法，使默认带 HMM 的切词模式速度提升 60%左右
利用cpython重新实现了生成 DAG 以及从 DAG 计算最优路径的算法，速度提升 50%左右
基本只是替换了核心函数，对源代码的侵入型修改很少
使用import jieba_fast as jieba 可以无缝衔接原代码。

安装说明

代码目前对 Python 2/3 兼容，对*unix 兼容良好，对 windows 不能保证

全自动安装：pip install jieba_fast
半自动安装：先下载 http://pypi.python.org/pypi/jieba_fast/ ，解压后运行 python setup.py install

性能测试

测试机器 mbp17，i7，16G

测试过程：先按行读取文本《围城》到一个数组里，然后循环对《围城》每行文字作为一个句子进行分词。然后循环对围城这本书分词 50 次。分词算法分别采用 [开启 HMM 的精确模式] 、 [关闭 HMM 的精确模式] 、 [开启 HMM 的搜索引擎模式] 、 [开启 HMM 的搜索引擎模式] 具体测试数据如下：

可以看出在开启 HMM 模式下时间缩减了 60%左右，关闭 HMM 时时间缩减了 50%左右。

一致性测试

为了保证 jieba_fast 和 jieba 分词结果相同，做了如下测试。

对《围城》，《红楼梦》分词结果进行比较，其分词结果完全一致

---- Test of 围城 ----
nums of jieba      results:  164821
nums of jieba_fast results:  164821
Are they exactly the same?  True
----Test of 红楼梦 ----
nums of jieba      results:  597151
nums of jieba_fast results:  597151
Are they exactly the same?  True