Hanlp自然语言处理中的词典格式说明

本文深入解析HanLP中词频词性词典与词频词典的格式,包括基本格式、数据结构、储存形式及如何修改自定义词典。核心词典基于人民日报2014语料,用户可按需调整并删除缓存文件以生效。
摘要由CSDN通过智能技术生成

使用过hanlp的都知道hanlp中有许多词典,它们的格式都是非常相似的,形式都是文本文档,随时可以修改。本篇文章详细介绍了hanlp中的词典格式,以满足用户自定义的需要。

基本格式

词典分为词频词性词典和词频词典。

1、词频词性词典(如CoreNatureDictionary.txt)

(1)每一行代表一个单词,格式遵从[单词] [词性A] [A的频次] [词性B] [B的频次] ...。

(2)支持省略词性和频次,直接一行一个单词。

(3).txt词典文件的分隔符为空格或制表符,所以不支持含有空格的词语。如果需要支持空格,请使用英文逗号,分割的纯文本.csv文件。在使用Excel等富文本编辑器时,则请注意保存为纯文本形式。

2、词频词典(如CoreNatureDictionary.ngram.txt)

(1)每一行代表一个单词或条目,格式遵从[单词] [单词的频次]。

(2)每一行的分隔符为空格或制表符。

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值