几款第三方分词工具

最新推荐文章于 2024-08-20 11:36:53 发布

阿满子

最新推荐文章于 2024-08-20 11:36:53 发布

阅读量8.2k

点赞数

分类专栏：中分分词文章标签： thulac ltp

本文链接：https://blog.csdn.net/ahmanz/article/details/51221795

版权

本文对比评测了THULAC、NLPIR（原ICTCLAS）和LTP三款中文词法分析工具。THULAC在北大语料上表现出色，召回率93.6%，准确率95.3%，F值94.4%。NLPIR是老牌分词系统，现转为商业。LTP虽然提供了丰富的中文处理模块，但在微软测试语料上的分词效果不理想，召回率89.9%，准确率86.8%，F值88.3%。

摘要由CSDN通过智能技术生成

THULAC

THULAC是由清华大学自然语言处理与社会人文计算实验室（该实验室带头人：孙茂松、刘知远、刘洋）研制推出的一套中文词法分析工具包。
安装了其C++版，对北京大学语料进行了分词，如果不选择词性分析的话，单纯分词，需0.5s，同时利用打分脚本进行评测：

=== SUMMARY:
=== TOTAL INSERTIONS:   995
=== TOTAL DELETIONS:    2785
=== TOTAL SUBSTITUTIONS:        3870
=== TOTAL NCHANGE:      7650
=== TOTAL TRUE WORD COUNT:      104372
=== TOTAL TEST WORD COUNT:      102582
=== TOTAL TRUE WORDS RECALL:    0.936
==