几款第三方分词工具

本文对比评测了THULAC、NLPIR(原ICTCLAS)和LTP三款中文词法分析工具。THULAC在北大语料上表现出色,召回率93.6%,准确率95.3%,F值94.4%。NLPIR是老牌分词系统,现转为商业。LTP虽然提供了丰富的中文处理模块,但在微软测试语料上的分词效果不理想,召回率89.9%,准确率86.8%,F值88.3%。
摘要由CSDN通过智能技术生成

THULAC

THULAC是由清华大学自然语言处理与社会人文计算实验室(该实验室带头人:孙茂松、刘知远、刘洋)研制推出的一套中文词法分析工具包。
安装了其C++版,对北京大学语料进行了分词,如果不选择词性分析的话,单纯分词,需0.5s,同时利用打分脚本进行评测:

=== SUMMARY:
=== TOTAL INSERTIONS:   995
=== TOTAL DELETIONS:    2785
=== TOTAL SUBSTITUTIONS:        3870
=== TOTAL NCHANGE:      7650
=== TOTAL TRUE WORD COUNT:      104372
=== TOTAL TEST WORD COUNT:      102582
=== TOTAL TRUE WORDS RECALL:    0.936
==
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值