1. 域(Field)的元数据信息(.fnm)文件分析
1.1 作用
我们在为文档建立索引的时候,会为文档添加不同的域(字段)来进行索引,使得索引结构能满足更多的查询语法。例如一个文档集被索引了author,modifydate字段,那么就能支持 'author:wangzhengnb AND modifydate>20120722' 这种Query语法。
更真实的例子就是搜索引擎普遍支持的site语法,也就是对网页索引时添加了site域,这样用户输入'意甲 site:sports.sina.com.cn' 时,搜索后端就能根据网页的site field来判断这个网页是不是新浪体育的,从而实现针对新浪体育频道域下的搜索。如下图,
而.fnm文件就是索引了这些域的元信息。比如一共有多少个域,某个域是否被存储、是否保存位置信息、是否保存偏移等等。
1.2 .fnm的物理结构分析
.fnm的物理结构如下图,
.fnm文件分为FNMVersion,FieldsCount, <FieldName, FieldBits>FieldsCount
FNMVersion, FieldsCount --> VInt
FieldName --> String
FieldBits --> Byte
FNMVersion对应版本号,对应Lucene-3.0.2为-2。
FieldsCount表示这个段中Field的总数。
<FieldName, FieldBits>元组是一个Field的信息,它一共重复FieldsCount次;其中的FieldName是Field名称,FieldBits表示这个域的属性,具体如下表。
1) 最低位如果为0,表示这个域不被索引(Field.Index.NO);为1,表示被索引(Field.Index.ANALYZED不仅索引而且分词,Field.Index.NOT_ANALYZED仅索引不分词),加入倒排表。
|
2) 次低位为0,表示不保存词向量(TermVector)(Field.TermVector.NO),为1表示保存词向量(Field.TermVector.YES) |
3) 倒数第三位如果为1表示在词向量中保存位置信息(Field.TermVector.WITH_POSITIONS) |
4) 倒数第四位如果为1表示在词向量中保存偏移量信息(Field.TermVector.WITH_OFFSETS) |
5) 倒数第五位如果为1表示不保存偏移量因子(Field.Index.NOT_ANALYZED_NO_NORMS) |
6) 倒数第六位如果为1表示保存Payload信息。 |