HanLP二元核心词典详细解析

2019独角兽企业重金招聘Python工程师标准>>>

本文分析：HanLP版本1.5.3中二元核心词典的存储与查找。当词典文件没有被缓存时，会从文本文件CoreNatureDictionary.ngram.txt中解析出来存储到TreeMap中，然后构造start和pair数组，并基于这两个数组实现词共现频率的二分查找。当已经有缓存bin文件时，那直接读取构建start和pair数组，速度超快。

源码实现

二元核心词典的加载

二元核心词典在文件：CoreNatureDictionary.ngram.txt，约有46.3 MB。程序启动时先尝试加载CoreNatureDictionary.ngram.txt.table.bin 缓存文件，大约22.9 MB。这个缓存文件是序列化保存起来的。

 ObjectInputStream in = new ObjectInputStream(IOUtil.newInputStream(path));

 start = (int[]) in.readObject();

 pair = (int[]) in.readObject();

转载于:https://my.oschina.net/u/3611008/blog/2967374