开源中文分词软件

最新推荐文章于 2024-10-31 15:56:11 发布

digmouse

最新推荐文章于 2024-10-31 15:56:11 发布

阅读量2.2k

点赞数

文章标签： java 语言自然语言处理 c# 全文检索搜索引擎

赞赏nzinfo的开源精神，并为中文检索技术的推广添砖加瓦。由于工作关系，这段时间对全文检索技术做了一些了解，论坛新张，特将我平时收集的一些开源中文分词项目列在下面，还很不全面，大家帮忙总结。（商业的有海量、猎兔等，就不放在这里了）

名称： 计算所汉语词法分析系统ICTCLAS
这可是最早的中文开源分词项目之一，很多后来的分词项目都参� �� 了他，有中科院计算所开发，网站上有很多相关资源可供研� �� 参考，不过好像现专人维护网站了，很多死链。
许可证方式: 自然语言处理开放资源许可证
运行环境: Win9X, Win2000, Win NT, Win XP, Linux
语言 C/C++
链接： URL

名称： 极易分词
语言：java 提供lucence 接口
链接： URL

名称： 庖丁解牛分词
语言：java 提供lucence 接口
License: Apache License 2.0
链接： URL

名称： SCWS - 简易中文分词系统
语言：php
链接： URL

sooner
会员

#2 | 发表时间: 10 4月 2008 06:00
回复 <script type="text/javascript">getQuotation('sooner');</script> 引用

【转贴】关于一些中文分词器
【来源】http://h-rain.javaeye.com/blog/169896

找了一些,列出来,备忘.部分内容来自http://lihaiyan.javaeye.com/blog/1276 74

1 计算所汉语词法分析系统 ICTCLAS
中国科学院计算技术研究所在多年研究基础上，耗时一年研制出� ��基于多层隐马模型的汉语词法分析系统 ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System)，该系统的功能有：中文分词；词性标注；未登录词识别。分词正确率高达97.58%(最近的973专家组评测结果)，基于角色标注� �未登录词识别能取得高于90%召回率，其中中国人名的识别召回率接近98%，分词和词性标注处理速度为31.5KB/s。ICTCLAS 和计算所其他14项免费发布的成果被中外媒体广泛地报道，国内� �多免费的中文分词模块都或多或少的参考过ICTCLAS的代码。

下载页面： http://www.nlp.org.cn/project/project.php?proj_id=6

由于 ICTCLAS 是由 C 语言写成的，现在主流的开发工具用起来不太方便，于是有一些� ��心的程序员把 ICTCLAS 改为 Java 和 C# 等其他语言。

（1）fenci，Java 的 ICTCLAS，下载页面： http://www.xml.org.cn/printpage.asp?BoardID=2&id=11502

（2）AutoSplit，另一个 Java 的 ICTCLAS，已经找不到下载页面，点击本地下载

（3）小叮咚中文分词，曾经有下载页面，现在找不到了。据作者介绍，从 ICTCLAS 中改进，有 Java，C# 和 C++ 三个版本，介绍页面： http://www.donews.net/accesine

2 海量智能分词研究版

海量智能计算技术研究中心为了使中文信息处理领域的研究者们� ��够共同分享海量智能中心的研究成果，共同提高中文信息处理� �平，特此发布《海量智能分词研究版》，供专家、学者和爱好者进行研究。

下载页面： http://www.hylanda.com/cgi-bin/download/download.asp?id=8

3 CSW中文智能分词组件

运行环境：Windows NT、2000、XP 或更高，可以在 ASP，VB 等微软的开发语言中调用。

简介: CSW中文智能分词DLL组件，可将一段文本自动的按常规汉语词组进� ��拆分,并以指定方式进行分隔，且可对其拆分后的词组进行语义� ��词频标注。其广范应用于各行各业的信息资料检索、分析。

下载页面： http://www.vgoogle.net/

4 C# 写的中文分词组件

据作者介绍，一个 DLL 文件，可以做中英文分词组件。完全C#托管代码编写，独立开发� �

下载页面： http://www.rainsts.net/article.asp?id=48

5 (C) scws-1.0.0 正式发布 (含php扩展及2文本词典) http://www.hightman.cn/

6 MMSeg Java开源实现http://www.solol.org/projects/mmseg/

7 小麻雀搜索引擎http://www.sqlet.com/

8 (C#) 开源 ShootSearch 分词组件 1.0 bate 070312 (支持dotlucene)http://www.shootsoft.net/home/show.aspx?id=38&cid=8

9 (Java) Paoding Analysis(庖丁解牛)http://code.google.com/p/paoding/

10 (Java) lucene开源中文分词器 IKAnalyzer2.0.2 共享及源码发布http://linliangyi2007.javaeye.com/blog/165287

11 (ruby) RMMSeg 作者,一些介绍
根据作者自己博客上面的测试，中文分词的准确率可以达到98%以� ��.应该是MMSEG的Ruby实现.

12 (C) MMSEGhttp://technology.chtsai.org/mmseg/

13 (C++)FirteX 是一个功能强大、高性能、灵活的全文索引和检索平台http://www.fi rtex.org/

其他:
搜索引擎资料收集(转)http://wind-bell.javaeye.com/blog/81504
几个免费的中文分词模块http://lihaiyan.javaeye.com/blog/127674
开源研究,中文分词http://www.j-kanban.com/bbs/thread-1806-1-1.html