史上最全中文分词工具整理

最新推荐文章于 2024-05-11 16:05:34 发布

weixin_34023982

最新推荐文章于 2024-05-11 16:05:34 发布

阅读量179

点赞数

文章标签：大数据 python 人工智能

原文链接：https://my.oschina.net/u/3793864/blog/3057631

版权

2019独角兽企业重金招聘Python工程师标准>>>

一．中文分词

二．准确率评测：

THULAC：与代表性分词软件的性能对比

我们选择LTP-3.2.0 、ICTCLAS(2015版) 、jieba(C++版)等国内具代表性的分词软件与THULAC做性能比较。我们选择Windows作为测试环境，根据第二届国际汉语分词测评（The SecondInternational Chinese Word Segmentation Bakeoff)发布的国际中文分词测评标准，对不同软件进行了速度和准确率测试。

在第二届国际汉语分词测评中，共有四家单位提供的测试语料(Academia Sinica、 City University 、Peking University 、MicrosoftResearch), 在评测提供的资源icwb2-data中包含了来自这四家单位的训练集（training）、测试集（testing）, 以及根据各自分词标准而提供的相应测试集的标准答案（icwb2-data/scripts/gold）．在icwb2-data/scripts目录下含有对分词进行自动评分的perl脚本score。

我们在统一测试环境下，对上述流行分词软件和THULAC进行了测试，使用的模型为各分词软件自带模型。THULAC使用的是随软件提供的简单模型Model_1。评测环境为 Intel Core i5 2.4 GHz 评测结果如下：

除了以上在标准测试集上的评测，我们也对各个分词工具在大数据上的速度进行了评测，结果如下：

CNKI_journal.txt（51 MB）

分词数据准备及评测由BosonNLP完成：11 款开放中文分词引擎大比拼（2015年发布）

分词的客观量化测试离不开标注数据，即人工所准备的分词“标准答案”。在数据源方面，我们将测试分为: 1.新闻数据：140篇，共30517词语； 2.微博数据：200篇，共12962词语； 3.汽车论坛数据（汽车之家）100篇：共27452词语； 4.餐饮点评数据（大众点评）：100条，共8295词语。

准确度计算规则：

将所有标点符号去除，不做比较

参与测试的部分系统进行了实体识别，可能造成词语认定的不统一。我们将对应位置替换成了人工标注的结果，得到准确率估算的上界。

经过以上处理，用SIGHAN 分词评分脚本比较得到最终的准确率，召回率和F1值。

以上所有数据采用北大现代汉语基本加工规范对所有数据进行分词作为标准。具体数据下载地址请参见附录。通过这四类数据综合对比不同分词系统的分词准确度。