2021SC@SDUSC
不同状态下的分词速度测试。
我的电脑支持最多12线程。
所以 jieba.enable_parallel(None)默认12线程。
1,文件内测试+语料
准备了84条语料,分别进行 单线程,2线程,4线程,12线程进行测试。
单线程
双线程:
四线程:
十二线程:
结果发现双线程处理84条语料已经够用了,速度快了十倍多。
2,命令行+大文件
使用文件对三国演义.txt进行带词性的分词,并将结果写入2.log中
依旧对单线程,双线程,四线程,十二线程的运行速度进行对比
单线程:
双线程:
四线程:
十二线程:
可以看到分词速度明显提高,十二线程比最初的单线程提高了四倍多,四线程比最初的单线程提高了三倍多。