使用过hanlp的都知道hanlp中有许多词典,它们的格式都是非常相似的,形式都是文本文档,随时可以修改。本篇文章详细介绍了hanlp中的词典格式,以满足用户自定义的需要。
基本格式
词典分为词频词性词典和词频词典。
1、词频词性词典(如CoreNatureDictionary.txt)
(1)每一行代表一个单词,格式遵从[单词] [词性A] [A的频次] [词性B] [B的频次] ...。
(2)支持省略词性和频次,直接一行一个单词。
(3).txt词典文件的分隔符为空格或制表符,所以不支持含有空格的词语。如果需要支持空格,请使用英文逗号,分割的纯文本.csv文件。在使用Excel等富文本编辑器时,则请注意保存为纯文本形式。
2、词频词典(如CoreNatureDictionary.ngram.txt)
(1)每一行代表一个单词或条目,格式遵从[单词] [单词的频次]。
(2)每一行的分隔符为空格或制表符。