lucene索引结构(二)--域(Field)信息索引

1. 域(Field)的元数据信息(.fnm)文件分析

1.1 作用

     我们在为文档建立索引的时候，会为文档添加不同的域(字段)来进行索引，使得索引结构能满足更多的查询语法。例如一个文档集被索引了author,modifydate字段，那么就能支持 'author:wangzhengnb AND modifydate>20120722' 这种Query语法。

     更真实的例子就是搜索引擎普遍支持的site语法，也就是对网页索引时添加了site域，这样用户输入'意甲 site:sports.sina.com.cn' 时，搜索后端就能根据网页的site field来判断这个网页是不是新浪体育的，从而实现针对新浪体育频道域下的搜索。如下图，

       而.fnm文件就是索引了这些域的元信息。比如一共有多少个域，某个域是否被存储、是否保存位置信息、是否保存偏移等等。

1.2 .fnm的物理结构分析

     .fnm的物理结构如下图，

     .fnm文件分为FNMVersion,FieldsCount, <FieldName, FieldBits>^FieldsCount 

      

     FNMVersion, FieldsCount --> VInt

     FieldName --> String

     FieldBits --> Byte

     FNMVersion对应版本号，对应Lucene-3.0.2为-2。

     FieldsCount表示这个段中Field的总数。

      <FieldName, FieldBits>元组是一个Field的信息，它一共重复FieldsCount次；其中的FieldName是Field名称，FieldBits表示这个域的属性，具体如下表。

1) 最低位如果为0，表示这个域不被索引(Field.Index.NO)；为1，表示被索引(Field.Index.ANALYZED不仅索引而且分词，Field.Index.NOT_ANALYZED仅索引不分词)，加入倒排表。

2) 次低位为0，表示不保存词向量(TermVector)(Field.TermVector.NO)，为1表示保存词向量(Field.TermVector.YES)

3) 倒数第三位如果为1表示在词向量中保存位置信息（Field.TermVector.WITH_POSITIONS）

4) 倒数第四位如果为1表示在词向量中保存偏移量信息(Field.TermVector.WITH_OFFSETS)

5) 倒数第五位如果为1表示不保存偏移量因子(Field.Index.NOT_ANALYZED_NO_NORMS)

6) 倒数第六位如果为1表示保存Payload信息。

<