中文分词工具比较

五款中文分词工具的比较，尝试的有jieba，SnowNLP，thulac（清华大学自然语言处理与社会人文计算实验室），StanfordCoreNLP，pyltp（哈工大语言云），环境是Win10，anaconda3.7

1.  安装

Jieba：
pip install jieba

SnowNLP：
pip install snownlp

thulac：
pip install thulac

StanfordCoreNLP：
pip install stanfordcorenlp

下载 CoreNLP 并解压，将中文包下载并解压至 CoreNLP 文件夹

pyltp：

pip install pyltp，安装失败提示c++14 missing，手动编译失败，换成centos安装依然失败

2. 运行

 

a = 'Jimmy你怎么看'

import jieba.posseg as pseg
ws = pseg.cut(a)
for i in ws:
    print(i)

import thulac
thu1 = thulac.thulac()
text = thu1.cut(a)
print(text)

from stanfordcorenlp import StanfordCoreNLP
nlp = StanfordCoreNLP(r'./stanford-corenlp-full-2018-10-05/', lang='zh')
print(nlp.pos_tag(a))

from snownlp import SnowNLP
s = SnowNLP(a)
t = s.tags
for i in t:
    print(i)

3. 结果

只有Thulac的结果比较特别，StanfordCoreNLP的运行占用大量内存和CPU，尝试另一句话‘这本书很不错’，jieba无法分出‘本’，其他都可以完整分词，不过StanfordCoreNLP依然占用大量内存和CPU。

Jieba:
Jimmy/eng
你/r
怎么/r
看/v

Thulac:
Model loaded succeed
[['Jimmy你怎', 'x'], ['么', 'u'], ['看', 'v']]

SnowNLP:
[('Jimmy', 'NR'), ('你', 'PN'), ('怎么', 'AD'), ('看', 'VV')]

StanfordCoreNLP:
('Jimmy', 'p')
('你', 'r')
('怎么', 'r')
('看', 'v')