Lucene 中的 Stored Fields 存储优化

前言

Qunar 酒店的搜索和 suggest 是基于 Lucene 构建的，在我们的使用场景中，由于召回和排序是作为两个单独的应用，当召回的文档数量比较多的时候，响应速度较慢，Young GC 也比较严重，导致并发量很难上去。经过分析我们发现，主要的问题是因为需要获取大量文档的存储字段，造成反序列化比较多，所以影响速度，GC 也比较多。

Lucene 正常的使用场景是不期望返回这么多文档的，一般是排序完成后只返回其中一页的结果，所以问题不明显，尽管也可以通过一些方法（比如粗排序）减少返回文档的数量，但问题还是存在的。

所以针对这个问题，我们希望能够找到一个比较彻底的解决方案。

为什么获取存储字段会有速度和GC的问题呢？

我们知道，Lucene 的 stored fields 在存储的时候，会把文档的字段按照某种形式编码后存储，并且会按块进行压缩。所以获取存储字段的时候，先会对字段所在的块解压缩，然后将对应的字段值反序列化为 Java 对象，放到 StoredField 对象中，文档的所有字段组装成一个 Document 对象。
这里头对时间影响比较大的是解压缩和反序列化，对 GC 影响大的是两部分，一部分是反序列化会产生很多小的 Java 对象，另外是每个字段都会创建一个 StoredField Java 对象。

压缩的问题，可以通过选项禁用压缩解决，其他的在现有的实现上就不好避免了。

那么有没有其他的选项呢？Doc Values 提供了另外一种存储字段的方法，它采用列式存储，但其目的并不是为了替代 Stored Fields，Doc Values 适用于获取大量文档的少数字段的情况，而 Stored Fields 适用于获取少数文档的大量字段的情况，Doc Values 通常用于排序、算分或者 Facet 聚合计算等场景。

尽管用 Doc Values 来存储是比较接近我们的优化目标，但当字段比较多的时候不太合适，而且 String 类型的数值需要以 binary 的形式存储，编解码次数多了也比较耗时，所以我们想，能不能自己实现字段的存储，把字段cache到内存里头，每次访问的时候，直接根据文档 ID 去获取相应的字段，这样就基本上没有序列化的开销，也少创建很多对象，对于我们这种数据量不是特别大的情况来说，效果应该更好。基于这个想法，我们调研了一下 Lucene 提供的相关机制，证明这么做是可行的，下面我们说一下 Lucene 提供的机制，以及我们怎么利用这种机制去实现我们想要的功能。

1 Lucene自定义Codec机制

Lucene 内部通过 codec API 来读写索引文件，codec 是 Lucene 的一个非常重要的抽象：它把索引数据结构的存储和上层的建索引和搜索的复杂逻辑隔离了开来，访问索引的时候都是通过 codec API 来操作，这样就允许我们实验各种不同的索引存储格式，而不会影响上层的搜索和建索引的逻辑。

Codec 针对不同类型的索引数据定义了10种 Format，每种类型的 Format 又定义了读写的 API，其中读的 API 在搜索时使用，写的 API 在建索引的时候使用，每个 Segment 可以设置自己单独的 Codec。

Lucene 中的抽象类 org.apache.lucene.codec.Codec 定义了 Codec 的接口：

public abstract class Codec implements NamedSPILoader.NamedSPI {
   
  ...
 
 
  /** Returns this codec's name */
  @Override
  public final String getName() {
   
    return name;
  }
   
  /** Encodes/decodes postings */
  public abstract PostingsFormat postingsFormat();
 
  /** Encodes/decodes docvalues */
  public abstract DocValuesFormat docValuesFormat();
   
  /** Encodes/decodes stored fields */
  public abstract StoredFieldsFormat storedFieldsFormat();
   
  /** Encodes/decodes term vectors */
  public abstract TermVectorsFormat termVectorsFormat();
   
  /** Encodes/decodes field infos file