NLP中的并行分词方法

目前并行分词只能在linux系统下支持，并行分词能显著提高我们的分词速度，在数据量很大时效果尤其明显，

下面给出我在一篇作文中进行并行分词和常规分词的时间的比较

#encoding=utf-8
import sys
import time
import jieba

jieba.enable_parallel()
content = open(u'/home/yang/下载/zuowen.txt',"r").read()
t1 = time.time()
words = "/ ".join(jieba.cut(content))
t2 = time.time()
tm_cost = t2-t1
print('并行分词速度为 %s bytes/second' % (len(content)/tm_cost))

jieba.disable_parallel()
content = open(u'/home/yang/下载/zuowen.txt',"r").read()
t1 = time.time()
words = "/ ".join(jieba.cut(content))
t2 = time.time()
tm_cost = t2-t1
print('非并行分词速度为 %s bytes/second' % (len(content)/tm_cost))

输出的结果分别为：并行分词速度为 375263.146396 bytes/second
非并行分词速度为 173770.15598 bytes/second

并行分词的速度明显快两倍多。所以当文档特别大时并行分词是一种很好的选择。