分词:分词词典CIPP_JS

CIPP_JS中文自动分词词典共享

CIPP_JS中文自动分词用词 典,格式是词条  词性  词频,词性标注集是采用北京大学 计算所的标注集,总词条1499 22条,参考了中科院计算所  北京大学计算所  北京工业大学等单位的中文自动分 词词典信息,经北京大学标注的9 8年1~6月的人民日报获取词频 数据而成.
辞典内容示例:

 啊 e 20
啊 y 378
啊啊 e 1
啊啊 o 1
啊呀 e 0
啊哟 e 0
阿 h 0
阿 j 256
阿·努里 n 0
阿巴查 nr 1
阿巴丹 ns 1
阿巴岛 ns 1
阿巴基 nz 4
阿巴鸟 n 8
阿巴伊达 ns 1
阿坝 ns 2
阿爸 n 12

其中词性标注符号为北大词性标注标准,见分词:词性标注北大标准一文

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
本系统具备中文自动分词、全文检索、统计等基本功能,具体介绍如下: 1、中文自动分词 1)能对给定的中文文本进行自动分词、词性一级、词性二级标注; 2)支持大批量文本的自动分词及词性标注处理,可处理各级子文件夹下的文件; 3)能根据待分词及标注文本的类别,加挂用户自定义词典,进一步提高分词和标注的精确度; 4)用户可对系统词典进行扩展,可添加、删除、查看系统词典,可将系统词典输出为TXT文本编辑后再转换为系统用的电子词典; 5)支持人名、地名、机构名等未登录词识别,支持基于GBK字符集的简、繁体文本的处理。 2、全文检索 1)能对给定的大批量文本分别建立基于字、词、词及词性的三种索引库; 2)打开相应的索引库后,可进行字串、词串、词及词性串的全文检索; 3)能显示检索结果的出处,点击后可自动打开对应的文本,进行具体的查阅; 4)支持语言学属性的全文检索,可控制检索串中字串的前后搭配及范围; 5)能控制检索结果中关键字串前后显示的字数并对结果中的查询关键字串以红色或蓝色显示。 3、统计 1)可对大批量文本进行字频、词频统计,可处理各级子文件夹下的文件; 2)对统计结果,提供基于字符码表、频率、拼音、部首四种方式的排序显示; 3)能对指定文件夹及子文件夹下的所有的TXT文本文件进行词频统计(对未分词文本可边自动分词边统计或对已分词并经人工校对的文本进行词频统计); 4)词频统计对象不是基于词表的词才统计,而是将分词结果中所有的词进行词频统计; 5)可对统计、检索结果进行编辑并保存为TXT或RTF格式的文件。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值