计算所汉语词法分析系统ICTCLAS 字典格式解析(字典格式说明)

原创 2005年01月03日 12:32:00

     在 计算所汉语词法分析系统ICTCLAS 字典格式解析  一文中简单介绍了一下 ICTCLAS 。本来是要把字典格式一并写上去,无奈不知道怎么描述这个格式,现在终于写出了第一个Java版本的代码,也理清了思路。这个文件格式可以这样来描述:

    先用文字描述一下:
    ictclas的字典文件由结构相同的Segment组成(比如:英文字典可以按照词语的首字母分为26个Segment)
    在一个Segment中由结构相同的Section组成。Section是描述词语的最小单位。

    Section中对词语的描述信息包括:词语的长度、词语本身、词语使用的频率、词语的句柄
    下图描述了一个Segment
的结构:
                    http://blog.csdn.net/images/blog_csdn_net/accesine960/82195/o_ictclas_dictionary_structure.jpg

    下图是ictclasC语言的描述格式:

http://blog.csdn.net/images/blog_csdn_net/accesine960/82195/o_ictclas_c_structure.jpg

    从程序的角度说明一下:

    一个SegmentSection的个数由这个Segment前4个字节决定(四个字节组成一个int型整数)。
    一个Section中长度等于 前12 个字节 加上词语的长度。在前面的12个字节中前4个字节是词语频率,中间4个字节是词语的长度,后面四个字节是词语的句柄。

    希望感兴趣的朋友们一起来学习一下这个项目,这对以后的中文处理是个不错的开端。
    相关下载:
计算所汉语词法分析系统ICTCLAS 字典格式解析 

版权声明:本文为博主原创文章,在不删除、修改文章内容的情况下,可以自由转载。

计算所汉语词法分析系统ICTCLAS 字典格式解析

这段时间小叮咚分词模块基本上没有什么大更新了,不是不想更新,而是感觉好像碰到了天花板,不知道该如何进一步拓展分词的功能了。当然分词不是目的,只是为了让小叮咚理解自然语言的一步必须的中间环节。我对小叮咚...
  • xiangxizhishi
  • xiangxizhishi
  • 2017年07月06日 17:32
  • 47

使用ICTCLAS2015进行分词

使用ICTCLAS2015进行分词 在今年的Imagine Cup中使用到了语义分析的部分,其中需要分词作为基础,我是用的是中科院的ICTCLA2015,本篇博客我来讲讲如何使用ICTCLAS20...
  • luoyhang003
  • luoyhang003
  • 2015年03月24日 07:41
  • 3554

Redis内部数据结构详解之字典(dict)

本文所引用的源码全部来自Redis2.8.2版本。 Redis中字典dict数据结构与API相关文件是:dict.h, dict.c。 本文讲解的不是很详细,可以同时参考Redis实现与设...
  • qq_29501587
  • qq_29501587
  • 2016年08月18日 16:20
  • 295

解决NLPIR-ICTCLAS2014分词系统词库过大,造成读取缓慢问题

对在使用NLPIR-ICTCLAS2014分词系统进行分词时候,也就是为系统加入用户字典时候出现了个小问题 当我的字典超过5MB的时候(具体为5.48MB),用记事本打开的时候已经是半天才能...
  • zengraoli
  • zengraoli
  • 2014年08月04日 15:28
  • 4233

正则表达式入门-知识字典

正则表达式入门知识点,可以当做一个字典
  • darron_r
  • darron_r
  • 2016年10月01日 20:31
  • 466

iOS 中字典与json格式的互相转换

iOS 中字典与json格式的相互转换 最近做一个项目,需要跟服务器连接,所有传出的数据都是json格式的,就需要进行相互之间的转换。在网上找了好多例子,功能都实现了,但都是运用第三方库。有...
  • u013173634
  • u013173634
  • 2014年08月16日 13:50
  • 1032

php生成数据字典

最近时间紧迫,没有时间发博客,趁现在有点时间向大家分享一个知识点。在咱们做开发的时候 ,也许经常会遇到对数据库分析,做一个数据字典,那么现在好处来了,大家只需要关注我所发送的这个链接轻轻松松帮你们搞定...
  • haoyunyun888
  • haoyunyun888
  • 2016年09月23日 20:42
  • 1913

使用NLPIR-ICTCLAS2014分词系统

使用NLPIR-ICTCLAS2014分词系统
  • zengraoli
  • zengraoli
  • 2014年08月04日 14:08
  • 29673

Kindle多看系统中字典

---------------------------------------正文------------------------------- 由于LZ最近经常翻看英文原版书籍,而系统自带的字...
  • zhenyongyuan123
  • zhenyongyuan123
  • 2017年02月21日 11:02
  • 3247

java调用NLPIR(ICTCLAS2016)实现分词功能

备注:win7 64位系统,netbeans编程     NLPIR分词系统,前身是2000年发布的ICTCLAS,2009年更为现名。张华平博士打造。 实现步骤:     1、在Netbean...
  • churximi
  • churximi
  • 2016年03月15日 13:10
  • 4622
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:计算所汉语词法分析系统ICTCLAS 字典格式解析(字典格式说明)
举报原因:
原因补充:

(最多只允许输入30个字)