一 安装和测试Python下的中文分词工具
参考http://hi.baidu.com/fooying/item/6ae7a0e26087e8d7eb34c9e8
的帖子“四款python中文分词系统简单测试”。
从评测的结果来看
在Python下可以采用的较好的中文分词工具是结巴中文分词和中科院的分词系统。
对于这两个工具进行测试。
1 安装结巴中文分词工具
在32位,Windows7 ,Python2.7下安装最新的结巴中文分词工具。
具体步骤:
(1)下载链接https://github.com/fxsjy/jieba,内含安装说明
(2)下载后解压缩到目录下,如C:/ jieba-master
(3)进入目录下,执行指令python setup.py install,完成安