Lucene Index Format 笔记

原文在这里:http://hackerlabs.org/blog/2011/10/01/hacking-lucene-the-index-format/

这篇文章很不错,把lucene index格式都列出来了.几个文件如下:

fnm => Field Information

fdx => Field index Field数据索引

fdt => Field Data Field数据

tis => Term Infos 是词典的主要记录

tii => Term Info index 词典index,存储index level下的项

frq => term frequencies 包含文档频率posting信息,包含numofskiplevels个跳跃表信息,numofskiplevels=min(maxSkipLevels,floor(log(docfreq/log(skip interval))),skip level对应的node数量为:floor(docfreq / skipinterval ^ (skiplevel + 1))(skip level从0开始)

prx => Proximate Data 位置信息

几个常量:

default index level = 128

default skip level = 16

default maxSkipLevels = 10

以上三个定义均在TermInfosWriter.java中.

在想其实Field index也可以有个index level多好,对于小的应用甚至可以不用部署hbase或cabinet.